国产智能终端实现技术突破 专家呼吁构建AI安全应用新范式

问题——端侧智能从“问答”走向“代办”,安全治理同步承压。

随着大模型能力向手机等终端加速迁移,AI助手正从提供信息服务升级为可直接调用系统权限、跨应用完成任务的“代理式”工具。

订票出行、邮件处理、会议纪要整理、日程管理等高频场景中,自动化带来效率提升,但当其触达通讯录、定位、相册、支付、身份验证等敏感权限时,潜在风险随之放大:一方面可能出现数据泄露、恶意诱导与诈骗链路借助自动化能力“提速”;另一方面,“误触发”“误操作”在金融转账、隐私调取等关键环节一旦发生,后果更难逆转。

原因——技术能力跃迁与制度供给滞后叠加,形成治理空档。

其一,大模型仍存在“幻觉生成”、意图误判与不可解释性等局限,尤其在复杂指令、多步骤任务和边界条件下更易出现偏差。

其二,操作系统级深度集成使AI具备更强执行力,但权限体系若设计不清晰、授权链路不透明、日志留存不完善,便容易出现“越权调用”“静默操作”等隐患。

其三,AI代理行为的责任划分仍缺乏明确、细化的制度支撑:当错误决策造成损失,用户授权是否充分、厂商设计是否合规、平台审核是否尽责、数据使用是否越界,往往难以在第一时间界定,增加维权成本与社会治理压力。

影响——产业机遇与风险外溢并存,信任成为关键变量。

从产业角度看,端侧智能有望重塑人机交互逻辑,推动应用生态从“点击式使用”向“意图式调度”转变,带动芯片、操作系统、应用服务与安全产业链协同升级。

对用户而言,若安全边界清晰、体验稳定可靠,将显著降低信息处理成本,提升个体与组织效率。

但若风险防控不到位,安全事件会迅速侵蚀公众信任,形成“技术可用、用户不敢用”的负反馈,进而影响创新扩散。

更重要的是,一旦AI助手在用户无感状态下执行关键操作,知情权、选择权与控制权可能被弱化,责任主体模糊也会加剧社会争议。

对策——以“可控、可信、可责”为底线,构建从设计到监管的闭环。

首先,坚持“人在回路”原则。

AI可以提供建议、自动填充与流程编排,但涉及资金流转、身份核验、隐私调取、系统级设置变更等高风险步骤,应设置强制确认与二次校验,明确禁止“静默完成”。

其次,完善透明可控的权限体系。

权限申请应逐项告知、分级授权、可随时撤回,遵循最小必要原则,并对跨应用调用、后台访问、敏感数据读取建立更高门槛与更细颗粒度控制。

再次,强化行为审计与可追溯机制。

对关键操作保留可核验日志,明确记录“何时、何因、调用何权限、访问何数据、执行何动作”,既便于事后追责,也有利于持续优化模型与规则。

与此同时,推动行业标准与监管协同发力,探索建立AI助手安全评估与分级管理机制,明确数据边界、模型更新流程、安全测试要求与事故处置规范,形成可执行、可落地的合规路径。

面向公众端,还应加强风险提示与数字素养培育,通过界面提示、风险预警、操作解释等方式,帮助用户形成理性预期,避免将AI助手等同于“全权代理”。

前景——端侧智能将成重要方向,竞争焦点将转向安全能力与治理能力。

综合来看,AI助手融入终端系统的趋势难以逆转,未来竞争不仅在模型参数与功能丰富度,更在权限控制、隐私保护、可解释性、可审计性以及对高风险场景的“安全降级”能力。

随着相关规范不断完善、技术路线持续迭代,AI手机有望在办公协作、出行服务、内容生产、健康管理等领域释放更大价值。

但必须看到,只有把安全与责任嵌入产品设计与产业治理之中,让用户始终保持可见、可控、可选择的权利边界,端侧智能才能稳步走向规模化应用。

真正的智能不是取代人类判断,而是增强人类能力;真正的进步不在于机器有多"聪明",而在于系统有多"可信"。

豆包手机的问世是AI技术发展的重要里程碑,但它不应成为安全防护让步的开始。

唯有将安全防护置于与技术创新同等重要的位置,让每一项创新都运行在责任与伦理的轨道上,端侧AI才能真正成为推动社会进步的力量。

在智能无止境的追求中,安全必须成为不可逾越的底线。