问题—— 近期,少数网络账号发布人工智能生成的图文、音视频时故意不作标注,甚至用“以假乱真”的内容编造事件、冒充身份、制造恐慌,借此吸粉引流、变现牟利,扰乱信息传播秩序,破坏网络生态,带来不良社会影响。针对这些突出问题,网信部门持续加大治理力度,推动网站平台开展专项排查整治,依法依约处置违规账号13421个,清理违法违规信息54.3万余条,并通报一批典型案例。 原因—— 一是流量驱动下的逐利冲动。一些账号靠猎奇、煽情内容博关注,通过“剧情拼接”“画面合成”等方式制造“爆款”,又不标注生成合成属性,刻意增加迷惑性。 二是技术门槛降低带来的滥用风险。换脸、拟声等工具获取方便、操作简单,导致冒名顶替、移花接木的成本更低。 三是部分平台审核与标识机制仍不完善,对“生成合成但未标注”“售卖规避标识教程”等灰色链条识别和处置不够及时。 四是公众媒介素养不一,个别用户对生成合成内容的辨别能力不足,虚假信息因此更容易扩散。 影响—— 从通报案例看,涉及的乱象危害多样:有的账号以“动物救人”“惊险奇闻”等题材编造虚构情节,微博、短视频、弹幕网站等平台传播,却不标注生成合成属性,误导公众认知、污染内容生态;有的账号利用换脸、声音克隆等手段冒充运动员、演员、主持人、企业家等公众人物发布不实言论,或未经授权售卖“祝福”“拜年”等定制视频,侵害合法权益并诱导交易;有的账号发布虚构火灾现场图像、视频,借事故话题恶意炒作,干扰公共秩序和应急信息传播;还有账号对未成年人喜爱的动画形象进行“魔改”,传播低俗、惊悚、暴力内容,损害未成年人身心健康。,部分社区和电商渠道出现“去除标识教程、软件及服务”的传播和售卖,形成规避监管的链条化倾向,深入加大治理难度。 对策—— 此次整治重点在于压实平台责任、形成闭环处置。网信部门一上督促各平台深入排查,对未按规定标注、传播虚假信息、冒充公众人物、传播不良内容以及提供规避标识工具与服务等行为,依法依约从严处理;另一方面公开通报典型问题,以案促改、强化震慑。目前,相关平台账号已被处置,违规商品已下架。 下一步治理将更强调系统化和前置治理:在内容端,推动创作者落实标注义务,明确生成合成内容与真实影像的边界;在平台端,完善标识展示、审核校验、风险提示与溯源处置机制,提升对换脸拟声、突发灾情谣言、未成年人有害内容等重点风险的识别能力;在链条端,加大对规避标识教程、工具与服务的处置力度,切断灰色传播路径;在协同端,推动监管、平台、行业组织与社会监督形成合力,提升治理效率。 前景—— 随着生成合成技术更广泛进入内容生产场景,标识制度将成为维护网络可信度与公共秩序的重要基础。可以预见,监管部门将继续对“未标注生成合成内容、借机造谣炒作、侵权牟利”等行为保持高压,推动治理常态化、精细化。同时,平台治理能力与用户识别能力能否同步提升,将影响网络空间能否在技术创新与秩序安全之间实现更好的平衡。
技术进步应服务社会发展,而不应被用来制造虚假、传播谣言;此次专项整治表达出明确信号:任何利用技术手段欺骗公众、破坏网络生态的行为,都将被严肃查处。网络内容创作者应增强法律意识和社会责任,主动规范发布与标注行为;平台也应把好审核与提示关口。只有多方共同发力,才能让技术创新更好造福社会,推动网络环境更加健康有序。