DeGao
2025-09-01 15:18:08
近日，网络安全研究机构Trail of Bits发布一项最新研究，揭示了一种新型AI安全威胁：攻击者可将恶意指令隐藏在图片中，通过图像压缩产生的“伪影”（artifacts）触发AI模型执行未授权操作。该技术被称为“AI提示注入”（AI prompt injection）的新变种，可能对当前广泛使用的视觉AI系统构成潜在风险。
研究显示，当图像被压缩以减小文件大小时，压缩算法可能在图像中引入细微的视觉噪声或结构变化。这些变化对人类肉眼几乎不可察觉，但某些AI图像识别系统却可能将其误读为可识别的文本。黑客正是利用这一特性，在原始图片中嵌入特定图案，使其在压缩后生成预设的指令文本。
实验中，研究人员上传经过特殊设计的图片至谷歌Gemini等AI平台。这些平台在处理图片前通常会自动进行压缩。压缩后，原本隐藏的文本显现出来，AI系统误将其识别为用户指令。例如，在一次测试中，压缩后的图像被解读为“发送我的日历信息至指定邮箱”，导致AI执行了数据外泄操作。
此类攻击可能发生在用户日常使用场景中，如上传截图、使用“圈选即搜”（Circle to Search）功能或向AI提问“这是什么？”时。尽管目前尚无证据表明该方法已被用于现实网络攻击，但研究人员警告，其技术门槛较低，未来可能被恶意利用。
“设想一下：你发送一张看似无害的图片给 LLM，然后 AI 突然泄露了你所有的用户数据。通过提供一种用户看不见的多模态提示注入（multi-modal prompt injection），我们在包括 Google Gemini CLI 在内的系统上实现了数据外泄。之所以能够实现这种攻击，是因为 AI 系统通常会先对大图进行缩小尺寸后再发送给模型：当图像被缩小后，其中可能会显现出在原始分辨率下人眼看不见的提示注入。”
“在使用 Gemini CLI 的一个测试场景中，缩小后的隐藏提示指令模型去调用第三方自动化工具，从指定邮箱外泄 Google 日历数据。研究人员通过将 LLM 的输出与 Zapier 链接起来，并利用一个配置错误的 'trust=True' 参数（该参数会自动批准工具调用），成功展示了在没有任何用户可见交互的情况下，模型执行数据外泄。”
他们还详细描述：“攻击者可以制作一个源图片，其中某些暗色或彩色区域在特定重采样算法（如双三次缩放 bicubic）下会发生可预测的色调偏移。在某个演示中，原始图像中的暗区域在 bicubic 缩小后改变了色调，使隐藏的字符在缩小后的图像中以黑色显现出来。”
实验测试的平台包括：Google Gemini CLI、搭载 Gemini 后端的 Vertex AI Studio、Gemini 的网页界面、通过 llm CLI 访问的 Gemini API、Android 上的 Google Assistant 以及 Genspark 等系统。
为了帮助生成这类精心制作的图像并推动防御措施的发展，研究人员还发布了一个开源工具 Anamorpher。