AI交互安全：Top Secret工具以NER与正则过滤敏感信息并支持响应恢复

当处理自由文本中的敏感信息时，传统的参数过滤方法失效。对于聊天机器人或大型语言模型（LLM）等场景，直接过滤整个字符串可能影响API处理。虽然正则表达式可用于识别部分敏感信息（如信用卡号、邮箱），但其覆盖范围有限。MITIE Ruby等工具结合命名实体识别（NER）技术，能识别并分类人名、地点等真实世界实体，显著提升了敏感信息过滤的准确性。Top Secret工具通过结合正则表达式与NER实体，实现了对自由文本的有效过滤，并能生成映射以便在响应中“恢复”被过滤的敏感信息，确保了数据在传输和处理过程中的安全与隐私。

该方法在处理用户与AI的交互时尤为关键。每次消息交互前过滤，可防止敏感数据从历史对话中泄露。以OpenAI API为例，通过`TopSecret::Text.filter_all`处理消息列表，再将过滤后的内容发送给模型，模型可按指示（如“请以[PERSON_1]称呼我”）在响应中引用过滤标记。最后，利用`TopSecret::FilteredText.restore`根据映射关系将响应中的标记还原为原始敏感信息，实现了安全与用户体验的统一。此外，该工具还可用作数据库存储前的验证器，防止敏感信息落入数据库，并支持自定义或禁用特定过滤器以适应不同场景的需求。

Introducing Top Secret

Automatically filter sensitive information before sending it to external services or APIs, such as chatbots and LLMs.

thoughtbotSteve Polito