Individua il Falso: Rilevamento di Immagini Sintetiche Basato su Modelli Multimodali di Grande Scala con Spiegazione degli Artefatti

Spot the Fake: Large Multimodal Model-Based Synthetic Image Detection with Artifact Explanation

March 19, 2025

Autori: Siwei Wen, Junyan Ye, Peilin Feng, Hengrui Kang, Zichen Wen, Yize Chen, Jiang Wu, Wenjun Wu, Conghui He, Weijia Li

cs.AI

Abstract

Con il rapido avanzamento delle tecnologie di contenuto generato da Intelligenza Artificiale (AIGC), le immagini sintetiche sono diventate sempre più diffuse nella vita quotidiana, ponendo nuove sfide per la valutazione e il rilevamento dell'autenticità. Nonostante l'efficacia dei metodi esistenti nel valutare l'autenticità delle immagini e localizzare le falsificazioni, questi approcci spesso mancano di interpretabilità umana e non affrontano completamente la crescente complessità dei dati sintetici. Per affrontare queste sfide, introduciamo FakeVLM, un modello multimodale di grandi dimensioni specializzato sia per il rilevamento generale di immagini sintetiche che per i DeepFake. FakeVLM non solo eccelle nel distinguere immagini reali da quelle false, ma fornisce anche chiare spiegazioni in linguaggio naturale per gli artefatti delle immagini, migliorando l'interpretabilità. Inoltre, presentiamo FakeClue, un dataset completo contenente oltre 100.000 immagini in sette categorie, annotate con indizi dettagliati sugli artefatti in linguaggio naturale. FakeVLM dimostra prestazioni paragonabili ai modelli esperti, eliminando la necessità di ulteriori classificatori, rendendolo una soluzione robusta per il rilevamento di dati sintetici. Valutazioni estese su più dataset confermano la superiorità di FakeVLM sia nei compiti di classificazione dell'autenticità che di spiegazione degli artefatti, stabilendo un nuovo punto di riferimento per il rilevamento di immagini sintetiche. Il dataset e il codice saranno rilasciati su: https://github.com/opendatalab/FakeVLM.

English

With the rapid advancement of Artificial Intelligence Generated Content (AIGC) technologies, synthetic images have become increasingly prevalent in everyday life, posing new challenges for authenticity assessment and detection. Despite the effectiveness of existing methods in evaluating image authenticity and locating forgeries, these approaches often lack human interpretability and do not fully address the growing complexity of synthetic data. To tackle these challenges, we introduce FakeVLM, a specialized large multimodal model designed for both general synthetic image and DeepFake detection tasks. FakeVLM not only excels in distinguishing real from fake images but also provides clear, natural language explanations for image artifacts, enhancing interpretability. Additionally, we present FakeClue, a comprehensive dataset containing over 100,000 images across seven categories, annotated with fine-grained artifact clues in natural language. FakeVLM demonstrates performance comparable to expert models while eliminating the need for additional classifiers, making it a robust solution for synthetic data detection. Extensive evaluations across multiple datasets confirm the superiority of FakeVLM in both authenticity classification and artifact explanation tasks, setting a new benchmark for synthetic image detection. The dataset and code will be released in: https://github.com/opendatalab/FakeVLM.