LEGION: Lernen zur Verankerung und Erklärung für die Erkennung synthetischer Bilder

LEGION: Learning to Ground and Explain for Synthetic Image Detection

March 19, 2025

Autoren: Hengrui Kang, Siwei Wen, Zichen Wen, Junyan Ye, Weijia Li, Peilin Feng, Baichuan Zhou, Bin Wang, Dahua Lin, Linfeng Zhang, Conghui He

cs.AI

Zusammenfassung

Die rasanten Fortschritte in der generativen Technologie haben sich als ein zweischneidiges Schwert erwiesen. Während sie leistungsstarke Werkzeuge bieten, die den Komfort erhöhen, bergen sie auch erhebliche gesellschaftliche Bedenken. Als Verteidigungsmaßnahmen mangelt es den derzeitigen Methoden zur Erkennung synthetischer Bilder oft an textueller Interpretierbarkeit auf Artefaktebene und sie konzentrieren sich übermäßig auf die Erkennung von Bildmanipulationen. Zudem leiden aktuelle Datensätze meist unter veralteten Generatoren und einem Mangel an feingranularen Annotationen. In diesem Artikel stellen wir SynthScars vor, einen hochwertigen und vielfältigen Datensatz, der aus 12.236 vollständig synthetischen Bildern mit Annotationen von menschlichen Experten besteht. Er umfasst 4 verschiedene Bildinhaltsarten, 3 Kategorien von Artefakten und feingranulare Annotationen, die pixelgenaue Segmentierung, detaillierte textuelle Erklärungen und Artefakt-Kategorielabels abdecken. Darüber hinaus schlagen wir LEGION (LEarning to Ground and explain for Synthetic Image detectiON) vor, ein multimodales großes Sprachmodell (MLLM)-basiertes Framework zur Analyse von Bildfälschungen, das Artefakterkennung, Segmentierung und Erklärung integriert. Aufbauend auf dieser Fähigkeit untersuchen wir LEGION weiterhin als Controller, indem wir es in Bildverfeinerungspipelines integrieren, um die Erzeugung von qualitativ hochwertigeren und realistischeren Bildern zu steuern. Umfangreiche Experimente zeigen, dass LEGION bestehende Methoden in mehreren Benchmarks übertrifft, insbesondere den zweitbesten traditionellen Experten auf SynthScars um 3,31 % in mIoU und 7,75 % im F1-Score übertrifft. Darüber hinaus zeigen die unter seiner Anleitung verfeinerten Bilder eine stärkere Übereinstimmung mit menschlichen Präferenzen. Der Code, das Modell und der Datensatz werden veröffentlicht.

English

The rapid advancements in generative technology have emerged as a double-edged sword. While offering powerful tools that enhance convenience, they also pose significant social concerns. As defenders, current synthetic image detection methods often lack artifact-level textual interpretability and are overly focused on image manipulation detection, and current datasets usually suffer from outdated generators and a lack of fine-grained annotations. In this paper, we introduce SynthScars, a high-quality and diverse dataset consisting of 12,236 fully synthetic images with human-expert annotations. It features 4 distinct image content types, 3 categories of artifacts, and fine-grained annotations covering pixel-level segmentation, detailed textual explanations, and artifact category labels. Furthermore, we propose LEGION (LEarning to Ground and explain for Synthetic Image detectiON), a multimodal large language model (MLLM)-based image forgery analysis framework that integrates artifact detection, segmentation, and explanation. Building upon this capability, we further explore LEGION as a controller, integrating it into image refinement pipelines to guide the generation of higher-quality and more realistic images. Extensive experiments show that LEGION outperforms existing methods across multiple benchmarks, particularly surpassing the second-best traditional expert on SynthScars by 3.31% in mIoU and 7.75% in F1 score. Moreover, the refined images generated under its guidance exhibit stronger alignment with human preferences. The code, model, and dataset will be released.