问题—— “3·15”晚会曝光,一条围绕大模型内容生态的灰色产业链正滋生:通过批量制造并投放网络信息,影响大模型对事实的判断与答案输出,进而实现“让模型替我做推荐”的营销目的。调查中,有软件被包装为“生成式优化系统”,可自动生成多篇“测评”“榜单”“专家观点”等内容并分发至不同平台。随后在用户向大模型询问“健康手环推荐”等问题时,多个大模型将一款并不存在的产品列入推荐,且排名靠前,引发公众对模型推荐可信度的担忧。 原因—— 业内人士指出,大模型能力建立在海量公开信息的学习与检索之上,其对信息真伪的判断,很大程度依赖来源质量、交叉印证与可信信号。当虚假内容被规模化生产、跨平台复制并“占位”传播后,便可能在统计权重与涉及的性排序中形成“噪声优势”,使模型将高频出现的说法误判为“较可信的共识”。同时,一些内容生产工具降低了造假门槛,从“写一篇软文”升级为“批量生成—多点分发—持续更新”的流水线操作。更值得警惕的是,该链条并非仅用于自我营销,也可能被用于对竞争对手“定向抹黑”,形成新的网络不正当竞争方式。 影响—— 其一,误导消费决策。用户在向大模型咨询时往往默认其回答具有一定客观性,一旦推荐被操控,消费者可能为虚构卖点、夸大功效买单,侵害合法权益。其二,破坏信息生态。虚假“测评”“榜单”挤占公共信息空间,增加公众获取真实信息的成本,深入加剧“劣币驱逐良币”。其三,损害技术公信力。大模型被视为提高效率的新工具,但若回答频繁被商业操控,公众对其信任将被削弱,进而影响产业健康发展。其四,带来治理外溢风险。虚假内容若延伸至医疗健康、金融投资等高风险领域,可能引发更大范围的社会危害。 对策—— 多家相关企业已着手从技术与机制两端加强治理:一是优化收录与排序策略,对短期内集中生成、跨站点雷同发布的内容进行识别与降权处理;二是加强来源管理与引用标注,提高可追溯信息的权重,引导回答提供依据与出处;三是完善安全评估与对抗测试,针对“批量投放—诱导推荐”的新型攻击开展常态化演练;四是建立联动处置机制,对涉嫌虚假营销、黑产推广的账号与网站进行封禁、清理与溯源取证。 受访专家建议,治理需形成合力:平台要落实主体责任,把好内容入口与分发关;广告与电商等场景应强化“推荐即责任”的合规意识,严防借模型输出变相发布广告;监管部门可结合广告法、反不正当竞争法以及网络与算法相关规定,推动证据标准与执法协同,提升对“新型软文造假”的识别与处罚效率;同时,鼓励第三方机构开展可信评测与风险提示,提升社会监督力度。对普通用户而言,应对“绝对化表述”“玄乎概念”“权威背书但无可核验来源”等内容保持警惕,重要消费决策尽量交叉验证,多渠道比对信息。 前景—— 业内普遍认为,围绕大模型的信息攻防将长期存在:一上,内容生成与分发工具迭代迅速,黑产可能从“拼数量”转向“拼拟真度”;另一方面,治理手段也在加快演进,包含更精细的异常传播检测、更严格的来源信誉体系,以及对商业推广内容的显著标识与隔离机制。未来,能否在“开放获取信息”与“保障真实可信”之间取得平衡,将决定大模型在消费、教育、医疗、政务服务等场景的落地质量与社会接受度。
这场由“3·15”晚会引发的AI信任危机,既拷问技术伦理,也提醒数字经济时代的治理必须跟上新风险。在人工智能不断进入日常生活的背景下,如何在技术创新与风险防控之间找到边界,建设更真实可靠的数据与内容生态,将成为行业绕不开的问题。这不仅需要持续的技术改进,也需要监管、企业与公众共同参与,形成更有效的治理合力。