主流AI对话系统难以识别伪造视频 虚假信息辨别能力待加强

问题——伪造视频快速扩散的背景下,识别“真伪”正在成为信息传播链条中的薄弱环节。调查显示,研究人员使用视频生成工具制作样本,并对三款主流聊天机器人进行问询测试。结果表明,这些系统在判断视频是否由技术生成、是否属于虚假内容上普遍误判率较高。其中,个别系统对绝大多数样本未能识别为生成内容;即便视频出自同一企业生态的工具,涉及的聊天助手仍难以有效辨别。这反映出:生成能力突进的同时,鉴别能力并未同步提升。 原因——技术迭代不同步、标识机制易被绕过、验证链条不完整等因素叠加。其一,生成技术光影、纹理、运动轨迹和场景一致性诸上不断逼近真实,依赖肉眼特征和简单线索的传统判断方式快速失效。其二,可见水印作为提示手段,现实中容易被免费工具去除;低门槛操作下,普通用户即可获得“去标识”版本,公众提醒作用被削弱。其三,不可见溯源信息虽遵循行业标准并可通过指定网站核验,但在下载方式变化、平台转码或二次上传等传播环节中可能丢失,出现“源头可追、传播不可验”。其四,部分系统在回答时偏向给出确定性结论,即便证据不足也会产生“自信误判”,继续放大误导。 影响——对公共舆论、社会治理与平台生态带来直接挑战。其一,伪造视频凭借“高仿真+高传播”迅速触达受众,容易在突发事件、国际热点、公共安全等议题上制造噪声,干扰事实核查与权威信息发布节奏。其二,当智能助手对伪造内容作出肯定性判断,虚假信息会披上“技术权威”的外衣,提高公众辨别与信任成本,放大谣言破坏力。其三,对机构媒体、平台与监管部门而言,辟谣成本上升、响应窗口缩短;若处置滞后,可能引发二次传播与情绪化解读。其四,相关企业一上提供强大的生成工具,另一方面识别与防护能力不足,容易引发公众对技术边界、平台责任与安全合规的进一步关注。 对策——需要在技术、产品、平台规则与社会协同层面形成合力,提升“可生成”时代的“可验证”能力。一是强化内容标识与抗篡改能力,推动水印从“可见提示”升级为“难去除、易识别、跨平台可读”,并提升其在剪辑、转码、压缩等常见处理下的鲁棒性。二是完善溯源信息的全链条保全机制,优化下载、分享与二次传播场景中的元数据保留策略;推动平台在上传、转码环节尽可能保留或重新写入可信标识,并为用户提供一键核验入口。三是提升智能系统的“低置信度应答”与“证据引用”能力:对无法确证的视频明确提示不确定性,避免以推断替代事实;同时加强与权威信源、事实核查数据库的联动,提升基于证据的判断质量。四是压实平台与企业主体责任,建立生成内容的分级管理、风险提示与处置机制;对可能引发社会风险的内容加强审核、限流与追踪,并推动行业标准与监管规则协同,明确标识义务、核验义务与违规成本。五是提升公众媒介素养,倡导“先核验、后转发”,在热点事件中优先关注权威发布,减少被“情绪化视频”带动的冲动传播。 前景——生成与鉴别将长期处于“攻防博弈”,而制度化、标准化的验证体系可能成为关键抓手。可以预期,随着生成工具普及,伪造内容的生产成本将进一步下降,传播更快、形态更逼真,单靠某一类工具或某一平台难以独立解决。未来治理重点或将从“识别某段视频是否伪造”转向“为每段内容建立可核验的身份与来源”,通过跨平台互认的标识标准、可审计的溯源记录、可追责的生产与分发机制,逐步提高造假成本、降低核验门槛。同时,智能系统在产品设计上需要更强调审慎与可验证性:把“不确定”说清楚,把“证据链”给出来,减少误判带来的社会外溢风险。

AI技术的发展是一把双刃剑。生成能力持续突破的同时,识别与防护能力的滞后正在成为新的风险来源。这次调查提示我们——关注AI创新进展的同时——更要补齐安全防护体系。只有在生成与识别、创新与安全之间取得平衡,AI才能更好服务社会,而不是成为虚假信息扩散的推手。这既需要技术企业承担责任,也需要全社会共同参与。