问题——训练“越充分越好”的直觉正在被反复验证的现实所修正；许多模型在训练集上迅速把损失压到很低，甚至出现“训练误差为零”，但在验证集或测试集上表现却不升反降。业内普遍将其归因于过拟合：模型记住了训练数据的细节与噪声，却没有学到更具普适性的规律。为规避这个风险，提前终止训练成为常用做法——当验证集指标不再改善便停止迭代。然而，提前停止也可能把仍有提升空间的模型“截停”，尤其在小数据场景中更为突出：训练刚刚进入更合适的参数区域，优化却被迫结束。 原因——过拟合背后不仅是“训练得太久”，更关乎模型最终落在参数空间的何种位置。研究表明，一些在训练集上表现极佳的解，可能位于“尖锐谷底”：对参数的微小扰动就会造成预测大幅波动，导致对未见数据的不稳定。这类解看似“拟合充分”，实则鲁棒性不足。相较之下，“平坦谷地”中的解对扰动更不敏感，往往对应更好的泛化表现。如何在不牺牲训练误差的前提下，引导优化过程偏向平坦区域，成为提升模型泛化能力的关键议题之一。 影响——来自ICML 2020论文《Do We Need Zero Training Loss After Achieving Zero Training Error?》的“洪水训练”（Flooding）提供了一个颇具反直觉的解法：不是一味把损失压到更低，而是在达到某个阈值后，允许损失“回头”。其核心做法是设定一个阈值b，将优化目标从原始损失L调整为围绕b波动的形式，使得当L低于b时，优化方向发生翻转，转为“上坡”更新；当L高于b时再恢复常规“下坡”更新。由此，训练过程会在阈值附近来回摆动，避免持续向尖锐极小值“钻得过深”。论文报告显示，在MNIST、CIFAR等图像分类基准任务上，将“洪水训练”与常见正则手段搭配后，多数设置下测试准确率获得约1至2个百分点的稳定提升，并出现验证集损失“二次下降”的现象，即在训练损失已极低后，泛化误差仍可继续下降。 对策——从机制解释看，“洪水训练”可被理解为一种隐式正则化。研究推导指出，当损失触及阈值附近并发生方向切换时，参数先被拉离尖锐区域、再被推向更平坦区域，两次效应叠加相当于对梯度施加约束或惩罚，使模型对扰动更稳健。这一解释也使其与L2正则、噪声注入、对抗训练等方法形成呼应：目标一致，都是在控制模型复杂度与鲁棒性之间寻找更优平衡。有一点是，该方法仍依赖阈值b等超参数选择。原论文通过在0.01至0.20之间多组试验确定阈值，在小规模实验中尚可接受，但在大模型长周期训练中，广泛试错将带来不容忽视的算力与时间成本。围绕这一痛点，业内也在探索更轻量的变体，例如将“交替”机制前置，通过在训练初期就采用不同学习率策略来模拟“上下坡切换”，以减少阈值搜索负担。对应的尝试显示，这类简化策略可能不如原方法稳定，但通常较少引入负面影响，仍具备进一步验证价值。 前景——随着大模型训练走向更高成本、更长周期与更复杂数据分布，“训练集指标漂亮”与“真实场景好用”之间的差距更受关注。未来一段时间，如何以更低代价获得更强泛化，仍将是算法与工程共同攻关的方向。“洪水训练”提供的启示在于：泛化提升未必依赖更复杂的结构或更强算力，有时对优化过程做小幅、可控的干预，就可能改变模型最终落点的“地形”，从而获得更稳定的真实表现。围绕其与数据增强、对抗鲁棒、分布外泛化等方向的结合，也有望形成更系统的方法体系。
训练集损失归零并非最终目标，关键在于模型在未知数据上的稳定表现。洪水训练通过打破单调下降的优化惯性，揭示了优化路径与泛化能力之间的新关系。在日益复杂的应用场景中，平衡效率、成本和泛化能力仍将是长期挑战。