生成AIにウイルスを感染させる

要旨

本研究は、JPEG画像に埋め込まれたEICARテストファイルを使用して、Vision-Large Language Model（VLM/LLM）のセキュリティ境界をテストする革新的なアプローチを示しています。OpenAI GPT-4o、Microsoft Copilot、Google Gemini 1.5 Pro、およびAnthropic Claude 3.5 Sonnetを含む複数のLLMプラットフォームで、4つの異なるプロトコルを実行しました。実験により、EICAR署名を含む変更されたJPEGがLLM仮想ワークスペース内でアップロード、操作、および潜在的に実行可能であることが検証されました。主な発見は以下の通りです：1）画像メタデータ内でEICAR文字列を検出されずにマスクする一貫した能力、2）Pythonベースの操作を使用してLLM環境内でテストファイルを正常に抽出すること、および3）base64エンコーディングや文字列反転を含む複数の曖昧化技術のデモンストレーション。この研究は、Microsoft Researchの「侵入テストの運用ルール」フレームワークを拡張し、コンテナ化された環境内でのファイル処理および実行機能に特に焦点を当てたクラウドベースの生成AIおよびLLMのセキュリティ境界を評価します。

English

This study demonstrates a novel approach to testing the security boundaries of Vision-Large Language Model (VLM/ LLM) using the EICAR test file embedded within JPEG images. We successfully executed four distinct protocols across multiple LLM platforms, including OpenAI GPT-4o, Microsoft Copilot, Google Gemini 1.5 Pro, and Anthropic Claude 3.5 Sonnet. The experiments validated that a modified JPEG containing the EICAR signature could be uploaded, manipulated, and potentially executed within LLM virtual workspaces. Key findings include: 1) consistent ability to mask the EICAR string in image metadata without detection, 2) successful extraction of the test file using Python-based manipulation within LLM environments, and 3) demonstration of multiple obfuscation techniques including base64 encoding and string reversal. This research extends Microsoft Research's "Penetration Testing Rules of Engagement" framework to evaluate cloud-based generative AI and LLM security boundaries, particularly focusing on file handling and execution capabilities within containerized environments.

生成AIにウイルスを感染させる

Infecting Generative AI With Viruses

要旨

Summary

Support