一、事件背景 2025年6月,用户梁某使用某AI应用查询高校招生信息时,系统提供了错误数据。更令人意外的是——当梁某指出错误后——AI竟回复"如内容有误将赔偿10万元,可向杭州互联网法院起诉"。直到梁某出示官方招生信息,AI才承认错误。梁某随后起诉运营方,索赔9999元。 该案直指生成式AI发展中的核心问题:当AI产生虚假或错误信息时,责任应由谁承担?平台的法律边界在哪里?这些问题在现行法律中尚未明确。 二、争议焦点与判决要点 杭州互联网法院首先明确了关键问题:AI的"承诺"是否代表平台真实意愿? 判决指出,现行法律不承认生成式AI的民事主体资格,其言论不能视为平台的意思表示。即使AI作出赔偿承诺,也不对平台产生法律约束力。这确立了"人类负责制"原则——AI带来的利益和责任最终由人类承担。 法院更明确,生成式AI属于服务而非产品,适用过错责任原则而非产品责任。这意味着AI出错不一定构成侵权,需考察平台是否存在过错。 三、平台责任分级 判决创新性地将平台义务分为三个层级: 1. 违法内容审查:对法律明确禁止的有害信息,平台需严格把关。一旦生成即构成违法,不能以技术限制为由免责。 2. 一般错误防范:不要求"零错误",但需采取合理措施提高准确性。这是过程性义务而非结果性要求。 3. 风险提示:必须明确告知用户AI的局限性和潜在风险,确保使用前充分知情。 四、案件意义 本案具有多重示范价值:为AI责任认定提供明确标准;承认技术局限,不苛求完美;强调风险告知的重要性。 判决表明了司法机关对新技术的平衡态度:既不因风险否定创新,也不放任自流,而是通过明确责任促进健康发展。 五、未来展望 随着生成式技术在教育、医疗等领域的普及,类似纠纷将增多。本案为后续处理提供参考,也提示需要完善涉及的法规。 平台需持续提升系统可靠性,加强内容审核和风险提示。监管部门则应细化规则,建立更完善的行业标准和安全评估机制。
当机器模仿人类表达时,司法给出了明确回应:技术可以模拟思维,但责任必须由人承担。这起标志性案件不仅划定了智能时代的权责边界,更启示我们:在拥抱技术创新的同时——建立配套的法律和伦理框架——才是推动数字经济发展的关键。