全国首例生成式人工智能“幻觉”侵权案宣判:厘清责任边界并防范认知风险外溢

近日,杭州互联网法院的一份判决书引发广泛关注。这起全国首例因生成式人工智能模型"幻觉"引发的侵权纠纷案,通过法律手段对AI时代的责任边界进行了明确界定。 案件的基本事实相对简单。用户梁某向某AI服务平台咨询高校报考信息,系统生成了不准确的内容。梁某多次纠正后——AI仍然坚持原有回答——甚至主动提出若信息有误将赔偿10万元。随后梁某提供了高校官网招生信息,AI承认错误并建议其索赔。基于该互动过程,梁某随即提起诉讼。 被告方的辩词触及了AI时代的核心问题。服务提供商主张,对话内容由AI模型自动生成,公司已充分履行注意义务且不存在过错;同时,原告并未产生实际经济损失,不构成侵权。这一辩词反映出当前AI应用中的一个普遍困境:当机器生成的内容出现错误时,责任应如何分配? 法院的判决具有重要的法律意义。首先,法院明确认定AI不是民事主体,AI的"赔偿承诺"不构成法律意义上的意思表示,因此不具有约束力。其次,根据我国产品质量法和《生成式人工智能服务管理暂行办法》等对应的规定,生成式人工智能应被界定为服务而非产品,这一界定决定了适用的法律原则。法院最终适用民法典第1165条规定的一般过错责任原则进行裁决。 这一法律框架的确立具有深远意义。过错责任原则要求法院全面评价服务提供者的行为,既能设立明确的红线和底线——如不生成违法信息、进行显著提示、履行方式性义务——又能为技术创新留出充分空间,防止过度监管阻碍产业发展。这种平衡的法律设计,正是为什么用户在使用AI服务时总能看到"本回答由AI生成,内容仅供参考,请仔细甄别"这样的免责声明。 然而,法律框架的完善只是问题的一个上。更深层的挑战在于AI"幻觉"对社会认知体系的潜在威胁。根据第56次《中国互联网络发展状况统计报告》,截至2025年3月,已有346款生成式人工智能服务完成备案。到6月份,80.9%的网络用户利用生成式人工智能产品来回答问题。这些数据表明,AI已经成为信息获取的重要渠道。 这种广泛应用带来的风险不容忽视。学术界已经提出了一个令人警醒的假设:当社交媒体中90%的内容由AI生成,而公众普遍缺乏有效的甄别能力时,社会将陷入美国新闻评论家李普曼所描述的"拟态环境"困境。在这种困境中,人们认知的世界不再是真实世界本身,而是由AI算法建构的虚假镜像。这种认知偏差可能导致信息茧房加剧、舆论生态扭曲、公共决策失误等诸多社会问题。 有一点是,公众对AI"幻觉"问题的认识已经觉醒。中国青年报中青校媒在2025年7月进行的问卷调查显示,97%的受访大学生都遇到过AI生成的错误信息。更重要的是,74.26%的受访者希望通过提升研发技术、优化算法模型、严格数据治理等方式来解决这一问题。这表明社会各界已经形成共识:解决AI"幻觉"问题需要技术进步、制度完善和全社会的共同努力。 从技术层面看,改进算法模型、增强数据质量、建立更有效的事实核查机制是当前的重要方向。从制度层面看,完善AI服务的监管框架、明确平台责任、建立用户权益保护机制同样重要。从社会层面看,提升全民的信息素养和AI认知能力,培养批判性思维,学会甄别AI生成内容的真伪,是长期的基础性工作。

该案判决犹如一柄双刃剑,既为技术创新划出法治跑道,也为数字文明时代的信息真实性竖起警示牌;在人工智能以每秒万亿次计算重构信息生态的今天,如何平衡技术红利与风险防控,不仅考验司法智慧,更是对全社会数字素养的深度叩问。当机器生成的文字日益渗透现实认知,人类或许更需要坚守对真实性的永恒追求。