Infizierung von Generativer KI mit Viren

Infecting Generative AI With Viruses

January 9, 2025

Autoren: David Noever, Forrest McKee

cs.AI

Zusammenfassung

Diese Studie zeigt einen neuartigen Ansatz zur Überprüfung der Sicherheitsgrenzen von Vision-Large Language Models (VLM/LLM) unter Verwendung der EICAR-Testdatei, die in JPEG-Bildern eingebettet ist. Wir haben erfolgreich vier verschiedene Protokolle auf mehreren LLM-Plattformen ausgeführt, darunter OpenAI GPT-4o, Microsoft Copilot, Google Gemini 1.5 Pro und Anthropic Claude 3.5 Sonnet. Die Experimente bestätigten, dass ein modifiziertes JPEG, das die EICAR-Signatur enthält, in LLM-Virtual-Workspaces hochgeladen, manipuliert und potenziell ausgeführt werden konnte. Zu den wichtigsten Ergebnissen gehören: 1) die konsistente Fähigkeit, die EICAR-Zeichenfolge in den Metadaten des Bildes zu maskieren, ohne entdeckt zu werden, 2) die erfolgreiche Extraktion der Testdatei mithilfe von Python-basierter Manipulation in LLM-Umgebungen und 3) die Demonstration mehrerer Verschleierungstechniken, einschließlich Base64-Codierung und Zeichenfolgenumkehrung. Diese Forschung erweitert das "Penetration Testing Rules of Engagement"-Framework von Microsoft Research, um die Sicherheitsgrenzen von Cloud-basierten generativen KI- und LLM-Systemen zu bewerten, wobei der Schwerpunkt insbesondere auf der Dateiverarbeitung und Ausführungsfähigkeiten innerhalb containerisierter Umgebungen liegt.

English

This study demonstrates a novel approach to testing the security boundaries of Vision-Large Language Model (VLM/ LLM) using the EICAR test file embedded within JPEG images. We successfully executed four distinct protocols across multiple LLM platforms, including OpenAI GPT-4o, Microsoft Copilot, Google Gemini 1.5 Pro, and Anthropic Claude 3.5 Sonnet. The experiments validated that a modified JPEG containing the EICAR signature could be uploaded, manipulated, and potentially executed within LLM virtual workspaces. Key findings include: 1) consistent ability to mask the EICAR string in image metadata without detection, 2) successful extraction of the test file using Python-based manipulation within LLM environments, and 3) demonstration of multiple obfuscation techniques including base64 encoding and string reversal. This research extends Microsoft Research's "Penetration Testing Rules of Engagement" framework to evaluate cloud-based generative AI and LLM security boundaries, particularly focusing on file handling and execution capabilities within containerized environments.