一、问题:从“优化排名”转向“污染知识源”,操控生成内容误导决策 随着消费者购物、健康、出行等场景中越来越多地依赖智能问答和生成式推荐获取信息,一些不法商家把手伸向模型的“知识入口”,试图通过系统性“投喂”虚假信息影响输出结果。业内通常将这类行为称为“投毒”。其关键不在于删帖刷评,而是围绕模型训练与数据抓取链条做手脚,让带有商业导向的错误信息以“看似客观的综合结论”形式被反复生成与传播。 与公众熟悉的搜索引擎优化不同,“生成式引擎优化”并不以提升网页在搜索结果中的排序为目标,而是瞄准模型训练依赖的海量公开语料与聚合内容。通过提高特定虚假信息在网络空间的可见度和可抓取性,进而影响模型学习与回答倾向。这种手法更隐蔽:用户看到的不是一条广告或一篇软文,而是一段看似“多源信息归纳”的建议,更容易降低警惕、加深误信。 二、原因:逐利冲动叠加低门槛工具化,催生“批量造假—分布投放—影响输出”链条 多位受访人士认为,这类乱象既源于商家对“新流量入口”的争夺,也与技术工具化带来的门槛下降有关。一些商家对生成式产品的运行机制缺乏正确理解,把“被推荐”当作捷径,转而寻求所谓“快速上榜”“让模型优先回答”的灰色服务,给黑产留下空间。 从操作路径看,对应的团伙往往围绕特定商品或服务批量生成“内容矩阵”,包括“消费者好评”“对比测评”“科普文章”“专家解读”等不同体裁,再将其分散投放到问答社区、论坛博客、知识库、信息聚合平台等可被抓取的渠道,并通过技术手段抬高曝光与引用痕迹,拼出一个“看上去真实、彼此互证”的信息网络。一旦模型训练或检索增强环节吸纳了这些内容,输出就可能出现倾向性结论甚至错误建议,商业话术由此被包装成“中立答案”。 三、影响:欺骗性更强、扩散更广、纠错更难,风险外溢至重点民生领域 与传统虚假宣传相比,这类“投毒”更像对信息供给侧上游的污染。传统谣言或广告还可通过删除、辟谣等方式止损,但当错误信息被模型吸收并在交互中自动生成,可能在较长周期内持续输出,形成“低成本复制—高频率传播—跨场景扩散”的放大效应。 其危害主要体现在三上:一是侵害消费者知情权与选择权。用户基于对生成式回答的信任作出消费决策,可能购买功效存疑的保健品、质量欠佳的商品,或被引导进入不透明的服务链条。二是扰乱市场秩序,挤压守法经营者空间,造成“劣币驱逐良币”的不良竞争。三是对技术生态造成长期伤害。大量低质与虚假数据污染模型知识来源,会削弱输出可靠性,动摇行业对新技术的信任基础,影响其在公共服务、产业升级等场景的规范应用。 尤其需要警惕的是,一旦虚假信息涉及药品、医疗器械、食品等领域,误导可能触及人身健康与公共安全底线,代价远高于一般消费纠纷。 四、对策:强化数据源治理与合规边界,推动平台、企业、监管、公众协同防控 受访法律与安全人士指出,从行为本质看,通过虚构产品信息诱导购买、误导交易,与虚假宣传并无区别;只是借助生成式推荐后更具迷惑性,取证也更复杂。治理应以法治为底线,以平台责任为抓手,以行业标准为支撑。 ——在平台与产品端,应完善数据采集与内容可信度评估机制,加强对异常内容集群、可疑“互证链条”、批量同质化文本的识别与拦截;对医疗健康、金融投资等重点领域,提高引用来源透明度与风险提示力度,强化对可疑结论的校验与溯源。对外部知识库接入、问答引用权重等关键环节,建立更严格的审核与动态监测。 ——在行业端,应推动形成反“投毒”的共识与联合处置机制,建立黑名单共享、风险样本库与快速响应通道,提高整体防御效率。 ——在监管端,应聚焦虚假广告、诈骗等违法高发环节,加大线索发现与执法协同力度,对“批量造假—有偿投放—牟利变现”链条开展打击整治。对重点领域,更压实平台与商家主体责任,推动合规经营。 ——在公众层面,应提升识别能力:对“绝对化疗效”“万能结论”“自称权威却无来源”等内容保持审慎;涉及健康与大额消费决策,尽量核对权威渠道与多方证据,避免由单一信息来源直接决定购买。 五、前景:以规范促发展,守住真实性底线才能释放技术正向价值 多位业内人士判断,“投毒”手段短期内可能制造“看似有效”的营销假象,但长期来看,平台识别异常内容的能力会持续提升,合规要求也将趋严。只有在数据质量过关、来源透明、责任边界清晰的框架下,生成式应用才能真正提升信息服务效率,而不是成为误导消费的“扩音器”。 未来,围绕数据来源可信标识、内容溯源、重点领域更高等级的审慎义务,以及对黑产服务的全链条治理,将成为治理重点。市场主体也应把竞争焦点从“钻算法空子”转回产品质量与服务能力,以真实口碑和长期价值赢得用户信任。
在人工智能深度融入经济社会的新阶段,“数据投毒”暴露出技术应用中的治理短板。这既是对现有监管能力的一次检验,也提醒各方在推动创新的同时补齐规则与责任。只有守住技术伦理与真实性底线、完善法治保障,才能让智能化转型走得更稳、更久,真正惠及社会。