这篇清华大学发布的《AI谣言深度研究报告》主要看了看2020到2026年这几年,是怎么靠生成式AI、深度伪造还有算法放大,搞得虚假信息满天飞的。现在最大的威胁不光是造假容易,而是假的东西太逼真,大家更容易信,传播还快,想纠正都很难。报告里把这种情况叫成“信息失序”,意思是大家太容易被骗了。简单说,AI谣言就是内容是假的或者很误导人,AI在生成、伪造还有传播上帮了大忙。跟以前那种靠口口相传的谣言比,现在用AI做出来的谣言在怎么生成、看起来有多真还有怎么传播上都不一样了,最大的坏处就是假得能以假乱真。比如泽连斯基的那个假视频(2022年)、五角大楼爆炸的假图(2023年)、用AI语音搞选举干预(2024年),还有香港那边用深度伪造骗人的案子(2024年),这些例子都说明了AI谣言的危害是怎么一步步升级的。以前也就是制造点舆论混乱,后来就开始影响金融市场波动,再到直接去干预民主程序和搞诈骗。它们的攻击越来越有组织、越来越系统化。 这份报告还深入分析了为什么大家会信这些假东西。说白了就是“认知资源劫持”,因为AI生成的东西太逼真了,大家就觉得这肯定是真的,懒得去多想或者深入查证。传播的时候还依赖四个法则:把话题搞得很吓人、证据看着很直观、爆出来的时间很短、想证明它是假的特别难。 为了对付这种情况,报告建了个三维的风险评估体系,包括看内容是不是伪造的、追踪是谁在传这些东西以及看传播有没有级联效应。还建议按风险的大小建立阶梯式的响应机制。技术防御方面不能光指望有个神奇的检测器就够了,得搞个多方面验证的网络,像RumorCone这种先进模型也能用来识破深层伪装。 报告最后还提了个大问题:未来要是有人往大模型预训练的数据里下毒,或者把知识库搞脏了,那事实核查系统本身都有可能被收买。所以治理得把重心往前挪,不能光想着事后删帖,得搞前端的风险预控和全链路的动态防御。这得靠法律、技术、认知和社会一起使劲才行。 幻影视界整理分享了这份报告的节选内容给大家看。