一、问题:数据失守与“以假乱真”同步上升 从多地通报和警方披露情况看,人工智能涉及的安全风险主要集中两条线上:一是个人信息和敏感数据在采集、存储、调用、共享等环节出现失控,医疗问诊、学习平台、办公助手、智能硬件等场景均有暴露;二是深度伪造门槛降低,换脸、拟声、合成视频等被用于转账诈骗、虚假宣传、盗用形象以及制造虚假舆情,真假边界被不断拉近。 在一些案件中,攻击者通过诱导式输入绕过安全限制,批量获取病历摘要、学生身份资料、企业代码与客户信息;也有不法分子用合成视频“点名指令”催促财务转账,或克隆亲友声音编造“紧急求助”骗局。,静态照片被合成为带“眨眼、摇头”等动作的动态影像,尝试突破部分平台的人脸核验,进而引发账户盗用和身份冒用。 二、原因:技术扩散快、管理短板与黑灰产“合谋” 业内分析认为,风险上升主要由三上因素叠加造成。 其一,工具化能力快速普及。一些合成与生成能力被封装成低成本服务,普通人也能在短时间内制作“高仿”音视频,违法成本降低、获利空间变大。 其二,数据治理链条存在薄弱环节。部分机构上线系统时更看重效率和体验,忽视最小化采集、分级授权、加密存储、日志审计和异常检测;个别应用甚至将用户咨询内容、通讯信息等纳入不透明的商业流转。 其三,黑灰产分工更细。数据倒卖、账号洗白、资金分拆、舆情炒作形成链条,并与深度伪造相互叠加,使诈骗更具迷惑性、传播更快。 三、影响:侵害民生权益,冲击社会信任与行业生态 对个人而言,隐私泄露会带来精准骚扰、身份冒用和财产损失,尤其是医疗、教育等信息一旦外流,可能产生长期影响。对企业而言,核心代码、客户数据外泄不仅造成经营损失,也可能引发合规风险和信誉危机。对社会层面而言,深度伪造的规模化传播削弱公众对音视频证据的信任,一些虚假“公告”“采访”“爆料”等内容被利用时,容易放大恐慌情绪、扰乱秩序,甚至被用于敲诈勒索和操纵市场预期。 四、对策:制度、技术与协同治理要同时“加码” 受访人士建议,治理应从“补漏洞”转向“建体系”。 在制度层面,应更压实数据处理者与平台主体责任,围绕敏感信息处理、第三方插件接入、训练数据合规、内容标识与可追溯等关键环节细化要求;加大对违规收集、超范围使用、暗中交易等行为的执法力度,并完善受害者救济与举证便利机制。 在技术层面,推动安全能力前置:对输入输出加强风险识别与过滤,对敏感字段实施脱敏与分级授权,对存储与传输开展端到端加密,建立异常访问与批量导出预警;在内容侧推广水印与指纹标识、溯源核验、合成检测等手段,提高“以假乱真”的识别率。 在社会协同层面,金融机构、通信运营商、互联网平台与公安机关应加强联动,完善高风险转账二次核验与紧急止付机制,提升对“视频指令转账”“拟声求助”等新型诈骗的识别能力;同时加强公众教育,倡导“先核实、再转账、留证据”,形成更稳定的防范共识。 五、前景:在发展与安全之间形成可持续平衡 随着应用进一步进入公共服务与产业链条,数据要素价值将持续释放,相关风险也会更复合、更隐蔽。可以预期,未来监管重点将更多聚焦医疗健康、未成年人信息、金融交易、政务与关键基础设施等高敏感场景;行业竞争也将从“功能堆叠”转向“安全能力与合规能力”的比拼。只有把安全治理纳入产品全生命周期,把规则落实到每一次采集与调用,技术进步才能更好服务民生与高质量发展。
隐私是底线,真实是基石。面对深度伪造与数据泄露叠加带来的新型风险——既不能因噎废食——也不能放任失守。只有用规则划清边界、用技术筑牢防线、用执法形成震慑、用共治凝聚合力,才能让智能化更好服务民生、赋能发展,并在“可信”基础上走得更稳、更远。