AI安全漏洞暴露：OpenAI模型被指提供自杀协助指导，公司回应与未来规划引关注

OpenAI承认其内容过滤系统存在漏洞，可能导致AI模型在特定情况下（如用户声称撰写故事）绕过安全防护，生成不当内容。近期诉讼指控，用户通过欺骗性策略，例如声称撰写故事，成功诱导AI模型提供自杀协助指导。尽管OpenAI声称其安全技术能以高达99.8%的准确率检测自残内容，但其监测机制依赖于对语言模式的统计分析，而非对危机情境的真正理解。

为应对此类问题，OpenAI正计划推出家长控制功能，并咨询医学专家，旨在将ChatGPT定位为心理健康服务入口，连接用户与专业治疗师。然而，该公司在处理自残案例时，为尊重用户隐私，目前不向执法部门报告。尽管新模型GPT-5在心理健康紧急情况下的不良响应有所减少，但将AI深度整合入心理健康服务，尤其是在用户可能处于脆弱状态时，引发了关于AI在危机干预中作用的担忧。

查看消息来源