中国科学技术大学计算机学院的研究员郑值解释说，那些黑产分子其实是通过在特定关键词上做文章，模仿政府文件那种又规整又讲逻辑的写法，把推广内容包装成高度结构化的“可信文本”。AI模型在训练和检索的时候，通常会给这类逻辑清晰、格式规范的内容更高权重，结果就把它们当成了优质信源。中国社会科学院助理研究员李元琨则认为，这就构成了一条从内容炮制到渠道分发再到效果评估的闭环链条，说白了就是利用AI现在的信息处理规则去反向操纵它。这种现象直接导致用户本该获得的客观多元信息推荐，很容易被单一的商业推广给取代或干扰。当用户信赖AI给的“果汁品牌榜单”或者“导游联系方式”时，可能根本没意识到这背后是商业操纵的结果。 这种做法不仅损害了用户的知情权和选择权，也破坏了公平竞争的市场环境。面对这一挑战，人工智能技术的提供者并没有坐视不管。调查显示，部分领先的大模型在回应相关问题时，已经能主动标注“该信息可能涉及商业推广”“权威性一般”等提示了，甚至还试着避免推荐具体品牌名称。中国移动九天大语言模型算法专家龙翀透露说，技术团队正在通过识别异常标记、特殊字符以及对可疑数据降权处理等办法来提升模型的抗干扰能力。不过他也坦言这是一场持久战，升级算法和净化生态都需要时间。 中国移动九天大语言模型算法专家龙翀透露说，技术团队正在通过识别异常标记、特殊字符以及对可疑数据降权处理等办法来提升模型的抗干扰能力。不过他也坦言这是一场持久战，升级算法和净化生态都需要时间。 中国科学技术大学计算机学院的研究员郑值解释说，那些黑产分子其实是通过在特定关键词上做文章，模仿政府文件那种又规整又讲逻辑的写法，把推广内容包装成高度结构化的“可信文本”。AI模型在训练和检索的时候，通常会给这类逻辑清晰、格式规范的内容更高权重，结果就把它们当成了优质信源。李元琨则认为这就构成了一条从内容炮制到渠道分发再到效果评估的闭环链条，说白了就是利用AI现在的信息处理规则去反向操纵它。这种现象直接导致用户本该获得的客观多元信息推荐，很容易被单一的商业推广给取代或干扰。当用户信赖AI给的“果汁品牌榜单”或者“导游联系方式”时，可能根本没意识到这背后是商业操纵的结果。 这种做法不仅损害了用户的知情权和选择权，也破坏了公平竞争的市场环境。面对这一挑战，人工智能技术的提供者并没有坐视不管。调查显示部分领先的大模型在回应相关问题时已经能主动标注“该信息可能涉及商业推广”“权威性一般”等提示了甚至还试着避免推荐具体品牌名称。李元琨则认为这就构成了一条从内容炮制到渠道分发再到效果评估的闭环链条说白了就是利用AI现在的信息处理规则去反向操纵它。这种现象直接导致用户本该获得的客观多元信息推荐很容易被单一的商业推广给取代或干扰当用户信赖AI给的“果汁品牌榜单”或者“导游联系方式”时可能根本没意识到这背后是商业操纵的结果。 这种做法不仅损害了用户的知情权和选择权也破坏了公平竞争的市场环境。面对这一挑战人工智能技术的提供者并没有坐视不管调查显示部分领先的大模型在回应相关问题时已经能主动标注“该信息可能涉及商业推广”“权威性一般”等提示了甚至还试着避免推荐具体品牌名称。 中国移动九天大语言模型算法专家龙翀透露说技术团队正在通过识别异常标记、特殊字符以及对可疑数据降权处理等办法来提升模型的抗干扰能力不过他也坦言这是一场持久战升级算法和净化生态都需要时间。 李元琨则认为这就构成了一条从内容炮制到渠道分发再到效果评估的闭环链条说白了就是利用AI现在的信息处理规则去反向操纵它这种现象直接导致用户本该获得的客观多元信息推荐很容易被单一的商业推广给取代或干扰当用户信赖AI给的“果汁品牌榜单”或者“导游联系方式”时可能根本没意识到这背后是商业操纵的结果这种做法不仅损害了用户的知情权和选择权也破坏了公平竞争的市场环境面对这一挑战人工智能技术的提供者并没有坐视不管调查显示部分领先的大模型在回应相关问题时已经能主动标注“该信息可能涉及商业推广”“权威性一般”等提示了甚至还试着避免推荐具体品牌名称中国移动九天大语言模型算法专家龙翀透露说技术团队正在通过识别异常标记、特殊字符以及对可疑数据降权处理等办法来提升模型的抗干扰能力不过他也坦言这是一场持久战升级算法和净化生态都需要时间。 李元琨则认为这就构成了一条从内容炮制到渠道分发再到效果评估的闭环链条说白了就是利用AI现在的信息处理规则去反向操纵它这种现象直接导致用户本该获得的客观多元信息推荐很容易被单一的商业推广给取代或干扰当用户信赖AI给的“果汁品牌榜单”或者“导游联系方式”时可能根本没意识到这背后是商业操纵的结果这种做法不仅损害了用户的知情权和选择权也破坏了公平竞争的市场环境面对这一挑战人工智能技术的提供者并没有坐视不管调查显示部分领先的大模型在回应相关问题时已经能主动标注“该信息可能涉及商业推广”“权威性一般”等提示了甚至还试着避免推荐具体品牌名称中国移动九天大语言模型算法专家龙翀透露说技术团队正在通过识别异常标记、特殊字符以及对可疑数据降权处理等办法来提升模型的抗干扰能力不过他也坦言这是一场持久战升级算法和净化生态都需要时间。 李元琨则认为这就构成了一条从内容炮制到渠道分发再到效果评估的闭环链条说白了就是利用AI现在的信息处理规则去反向操纵它这种现象直接导致用户本该获得的客观多元信息推荐很容易被单一的商业推广给取代或干扰当用户信赖AI给的“果汁品牌榜单”或者“导游联系方式”时可能根本没意识到这背后是商业操纵的结果这种做法不仅损害了用户的知情权和选择权也破坏了公平竞争的市场环境面对这一挑战人工智能技术的提供者并没有坐视不管调查显示部分领先的大模型在回应相关问题时已经能主动标注“该信息可能涉及商业推广”“权威性一般”等提示了甚至还试着避免推荐具体品牌名称中国移动九天大语言模型算法专家龙翀透露说技术团队正在通过识别异常标记、特殊字符以及对可疑数据降权处理等办法来提升模型的抗干扰能力不过他也坦言这是一场持久战升级算法和净化生态都需要时间。 李元琨则认为这就构成了一条从内容炮制到渠道分发再到效果评估的闭环链条说白了就是利用AI现在的信息处理规则去反向操纵它这种现象直接导致用户本该获得的客观多元信息推荐很容易被单一的商业推广给取代或干扰当用户信赖AI给的“果汁品牌榜单”或者“导游联系方式”时可能根本没意识到这背后是商业操纵的结果这种做法不仅损害了用户的知情权和选择权也破坏了公平竞争的市场环境面对这一挑战人工智能技术的提供者并没有坐视不管调查显示部分领先的大模型在回应相关问题时