我国科研机构联合发布智能前沿技术风险管理框架 为全球AI安全治理贡献中国方案

问题——前沿通用技术迭代加速,安全边界与治理规则仍不够清晰。近年来,大模型与智能体能力持续提升,提高生产效率、推动科研创新的同时,也带来网络攻击门槛降低、生物化学风险外溢、虚假信息扩散与舆论操纵等新型挑战。特别是当模型能力与工具调用、自动化执行深度耦合后,风险呈现跨领域、链条化、放大效应更明显等特点,传统以修补单点漏洞为主的治理方式难以适应。 原因——能力扩散叠加场景外延,风险识别与责任划分更复杂。一上,开源生态、算力普及与工具集成降低了高能力系统的使用门槛;另一方面,系统正从“生成内容”转向“执行任务”,模型可能借助外部插件、代码执行、数据连接触达关键基础设施与敏感资源,使风险从信息层面延伸到现实层面。同时,研发链条更长、参与主体更多,企业内部安全流程与外部监督力度不一,也导致风险评估口径和处置阈值难以统一。 影响——缺少可操作阈值与闭环管理,局部事件可能演变为系统性风险。报告以滥用、失控、事故、系统性四类风险为框架,覆盖语言模型、智能体、生物基础模型等多种通用系统形态,并对网络攻击、生物化学危害、大规模舆论操纵等场景给出更细化界定。业内人士指出,这类风险一旦跨越临界点,可能对公共安全、社会信任与关键行业运行造成连锁冲击,也会加剧国际社会对前沿技术扩散的担忧,影响产业开放合作环境。 对策——以标准对标与分级处置为主线,建立“识别—评估—缓解—治理”的闭环体系。该框架对标国内外通行的风险管理标准,提出由风险识别、风险阈值、风险分析、风险评估、风险缓解、风险治理六个相互衔接环节构成闭环流程,并从部署环境、威胁来源、赋能能力三个维度综合判断风险发生概率与危害程度。为增强可执行性,框架设置“黄线”预警指标与“红线”不可接受结果,网络攻击、生物风险等重点领域提出更具体的阈值思路,并明确跨线后的处置要求,强调部署决策应与残余风险评估结果直接挂钩。风险分析环节建议将威胁建模、红队测试贯穿研发、部署与运维全流程;风险评估采用绿、黄、红分区分类,推动管理资源按风险等级精准投入。风险缓解上,框架强调纵深防御,将安全训练、部署管控、模型安全等措施嵌入全生命周期,形成“设计即安全、运行可控、问题可追”的工程路径。风险治理则从内部治理、透明与社会监督、应急控制、政策更新反馈四类机制入手,提出内部多道防线、第三方审计与应急响应要求,为重大风险提供组织保障。 前景——让安全能力成为可共享的公共产品,仍需多方协同与持续迭代。报告提出该框架将作为动态更新文本,后续结合实践反馈持续完善,并呼吁研发机构、产业界与政策制定部门形成兼容的风险管理体系。业内观察认为,通用技术治理的关键不在于“是否发展”,而在于“如何在可控前提下发展”。随着基准测试、能力评估、审计工具与应急演练逐步制度化,风险治理有望从原则层面走向工程标准与行业共识,并为国际合作提供更可对接的技术语言与规则接口。

人工智能的价值在于造福社会,其边界也必须以安全为底线、以治理为支撑。面对能力快速扩展的前沿系统,建立清晰阈值、完善闭环流程、强化多方监督,是把风险关口前移、降低不确定性的关键路径。推动安全治理框架在更大范围内形成共识与协同,将为新技术稳健发展提供更坚实的制度保障与公共信心。