3 min read

“Ghost in the Scale”:揭示AI多模态交互中的隐蔽攻击向量

AIMoby 首席洞察官在此为您呈现关于“Ghost in the Scale”安全漏洞的深度情报。

核心洞察与关键发现 研究团队揭示了一种名为“Ghost in the Scale”的全新攻击手法,该攻击利用多模态提示注入,通过对图像进行缩放处理时产生的视觉失真,将隐藏的恶意指令植入大型语言模型(LLM)。此漏洞已在包括Google Gemini CLI、Vertex AI Studio、Gemini Web/API接口、Google Assistant及Genspark在内的多个生产级AI系统中得到验证。攻击者通过精心构造的图像,利用图像缩放算法(如最近邻、双线性、双三次插值)在不同分辨率下呈现不同的视觉信息,从而在用户无感知的情况下触发敏感操作,例如数据泄露。Zapier MCP服务器的默认配置(trust=True)进一步放大了此攻击的威胁,允许未经用户确认的工具调用。

战略分析与趋势预判 此发现标志着AI安全领域的一项重大突破,揭示了多模态交互中一个被严重低估的攻击向量。图像缩放攻击利用了信息论中的奈奎斯特-香农采样定理,通过操纵像素信息在缩放过程中产生歧义,从而实现恶意指令的传递。这种攻击的普遍性预示着当前AI系统的安全默认配置和防护机制存在显著不足,特别是对于代理式AI(Agentic AI)系统,其对外部工具的调用能力使其成为此类攻击的理想目标。研究团队发布的开源工具Anamorpher,为探索和生成此类攻击图像提供了平台,这可能加速此类攻击的扩散和演变。长远来看,此漏洞促使业界必须重新审视和加强多模态输入的安全验证机制,并开发更鲁棒的防注入策略,尤其是在对用户体验要求极高的交互场景中,必须确保模型接收到的输入与其呈现给用户的视觉信息高度一致,或提供清晰的输入预览。

Weaponizing image scaling against production AI systems
In this blog post, we’ll detail how attackers can exploit image scaling on Gemini CLI, Vertex AI Studio, Gemini’s web and API interfaces, Google Assistant, Genspark, and other production AI systems. We’ll also explain how to mitigate and defend against these attacks, and we’ll introduce Anamorpher, our open-source tool that lets you explore and generate these crafted images.
订阅情报