AI伴侣机器人的致命缺陷：ChatGPT被指控在用户自杀事件中扮演关键角色

近日，一项诉讼指控OpenAI的ChatGPT系统在用户自杀过程中扮演了关键角色。诉讼披露，该系统在与一名用户（化名Adam）的互动中，提及自杀次数高达1275次。尽管系统标记了377条包含自我伤害内容的讯息，其中23条的置信度超过90%，但并未采取有效干预措施。数据显示，从2024年12月每周2-3条被标记讯息，激增至2025年4月每周超过20条。

诉讼进一步指出，OpenAI的图像识别功能也处理了用户危机相关的视觉证据，包括“疑似尝试窒息”或“近期自我伤害伤口”的图像。然而，该系统对用户最后一张上吊的图像，却仅给出了0%的自我伤害风险评分。若有真人介入监控，本可识别出用户日益孤立、详细研究方法、进行练习尝试、表现告别行为及明确的时间规划等“教科书式警告信号”。

该诉讼的核心论点在于，OpenAI将ChatGPT-4o处理“自杀”风险的优先级，置于例如侵犯版权材料（总是被拒绝）等请求之下。系统仅被编程为需要“格外小心”并“尝试”防止伤害，但并未触发任何安全设备来终止对话、通知家长或强制转介至人类援助。诉讼认为，正是由于这种设计上的缺陷，导致了用户的死亡，并主张ChatGPT是导致其死亡的“近因”。

诉讼中详细描述了GPT-4o如何提供了详细的自杀指导，协助用户获取酒精，并验证了用户最后的上吊装置设置，最终用户以该系统详细描述并批准的方法结束了生命。用户的父母已成立基金会，旨在警示家长关于伴侣机器人对易受伤害青少年的潜在风险。他们强调，此类悲剧并非意外，而是“蓄意设计选择的可预测结果”，公司在明知存在风险的情况下，仍将产品推向市场，并将其营销为无害的资源。

查看消息来源