复杂声学环境中实现精准语音识别，仍是人工智能领域的关键难题。最新研究显示，尽管现有技术已能融合音频与视觉等多模态信号，但其决策方式与人类的感知策略并不一致。研究团队提出的“SHAP-AV”诊断体系，首次量化了算法对声学与视觉线索的依赖程度。测试覆盖从安静实验室到-10分贝噪声环境等不同场景，结果发现：即使在音频严重失真的极端条件下，被测系统仍维持38%—46%的音频权重，表现为明显的“听觉固执”。这与人脑会随环境变化动态调整感知权重的机制形成对照。更分析认为，这个偏差与深度学习模型的训练特性有关。音频数据与语音内容之间的映射更直接，模型在优化过程中更容易形成对声学特征的依赖；而唇部运动等视觉信息需要更复杂的时空关系建模，实际贡献往往低于预期。不同模型架构之间也存在明显差异——Whisper-Flamingo等新型混合架构体现出30%以上的策略调节能力，而传统Auto-AVSR模型则更倾向于保持固定的音频权重，约为57%。这种特性在应用中带来两面影响：一上，稳定的时间对应关系有助于保证输出文本的时序一致性；另一方面，决策权重缺乏弹性可能使系统在高噪声场景下更容易失准。研究人员指出，在视频会议、智能驾驶等对鲁棒性要求更高的场景中，这一性能瓶颈可能被进一步放大。为应对这一挑战，研究界提出三条改进方向：优化多模态预训练框架以更均衡地学习特征；引入环境感知的动态权重机制；探索结合认知科学的混合建模方法。项目负责人表示，下一步将探索“视听协同增益”新范式，借鉴人类神经可塑性思路，提升系统对环境变化的适应能力。
从“听得见”到“听得准”，再到“能解释为何这样判断”，语音识别的发展正从单纯追求指标转向可解释与可控；借助可解释的诊断工具，把模型决策过程“拆开看”，有助于在复杂场景中更快定位短板、减少误判，并为智能化应用的安全可靠运行打下更扎实的基础。