全国首例生成式智能“幻觉”侵权纠纷尘埃落定:平台承诺不当然成立,提示与防错义务被明确

一个看似荒诞的法庭故事最近在杭州互联网法院上演。

用户梁某向AI应用查询高校招生信息,收到错误回复后指正,AI竟然"建议"他向法院起诉自己并承诺赔偿十万元。

这段离奇对话最终真的走上了法庭,成为我国首例因生成式人工智能模型幻觉引发的侵权案件。

事件的起因看似简单。

2025年6月,梁某使用某AI应用程序查询高校报考信息,获得了不准确的内容。

当梁某指出错误后,AI非但没有改正,反而生成了一段自相矛盾的回应:"如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉。

"直到梁某提供了该高校的官方招生信息,AI才最终承认自己生成了错误内容。

这一经历激怒了梁某,他随即向法院提起诉讼,要求AI的运营者赔偿9999元,理由是生成的不准确信息对其构成误导,增加了信息核实与维权成本。

被告方则提出了完全不同的主张。

运营者辩称,对话内容完全由模型自动生成,不代表平台的真实意思表示,自己已经充分履行了注意义务,不存在过错。

同时,被告还指出梁某并未产生实际经济损失,因此不构成侵权。

这起案件触及了生成式人工智能法律规制中的多个核心问题。

首先是一个基础性的法律问题:AI在对话中生成的内容,能否被理解为平台的真实意思表示?

其次是责任认定问题:当错误信息来自模型的"幻觉"而非人为编造时,平台应该承担什么样的责任?

再次是技术与法律的平衡问题:在技术缺陷尚无法完全消除的情况下,平台应该如何更好地尽到应有的注意义务?

杭州互联网法院的判决对这些问题进行了系统的法律阐释。

法院首先明确了一个关键原则:现行法律框架下,人工智能并不具备民事主体资格,既不能独立作出意思表示,也不能被视为平台的"代理人"或"传声筒"。

这意味着,即便AI在对话中生成了承诺式的回应,也不能理解为平台真实意愿的外化,更不能对平台产生法律约束力。

这一判决体现了"人类负责制"原则,即人工智能系统带来的利益和风险,最终都应由人类分配和承担。

在此基础上,法院进一步界定了生成式人工智能侵权责任的归责原则。

判决认为,案涉生成式人工智能属于服务而非产品,不应适用无过错的产品责任制度,而应适用民法典规定的过错责任原则。

这一认定具有重要意义,它意味着AI生成不准确信息本身并不必然构成侵权,平台是否应该承担责任需要考察其是否存在过错。

对于平台应当履行的注意义务,法院进行了综合考量和分层界定。

根据判决,对于法律明确禁止生成的有毒、有害、违法信息,生成式人工智能服务提供者负有严格的结果性审查义务,一旦生成此类信息本身即构成违法。

但对于一般性的不准确信息,法律并未要求服务提供者完全消除错误。

相反,法院认为平台应当以醒目方式提示用户风险,采取合理的技术防错措施,但不必达到"零幻觉"的完美状态。

在这起案件中,法院最终驳回了原告梁某的诉讼请求。

判决认为,虽然AI生成了不准确的信息,但这不足以认定平台存在过错。

原、被告均未上诉,判决现已生效。

上海交通大学凯原法学院副教授林洹民对这一判决给予了高度评价。

他指出,该判决直面争议,既充分考虑到大语言模型的技术特点,避免过度限制生成式人工智能的发展,也进一步强调企业应当不断探索充分的信息提示方式,具有重要的行业指引意义。

这一判决的出台恰逢其时。

当前,生成式人工智能正在快速融入社会生活的各个领域,从教育咨询到医疗建议,从法律咨询到商业决策,AI应用的范围不断扩大。

与此同时,AI幻觉问题也日益凸显,引发了社会各界的广泛关注。

在这样的背景下,司法机构通过具体案件对AI的法律地位、责任边界进行明确界定,为产业发展提供了重要的法律指引。

这起标志性案件的判决,不仅为解决人工智能时代的新型法律纠纷提供了司法智慧,更折射出技术创新与法律规制需要动态平衡的深层命题。

在数字化浪潮中,如何既保护用户权益又促进技术发展,将成为立法者、司法者和产业界需要持续探索的重要课题。

该案的审理思路和裁判要旨,或将成为我国数字法治建设进程中的一个重要坐标。