Test di Turing del Contatore Visivo (VCT^2): Scoperta delle sfide per la Rilevazione di Immagini Generate da AI e Introduzione dell'Indice di AI Visiva (V_AI)

Visual Counter Turing Test (VCT^2): Discovering the Challenges for AI-Generated Image Detection and Introducing Visual AI Index (V_AI)

November 24, 2024

Autori: Nasrin Imanpour, Shashwat Bajpai, Subhankar Ghosh, Sainath Reddy Sankepally, Abhilekh Borah, Hasnat Md Abdullah, Nishoak Kosaraju, Shreyas Dixit, Ashhar Aziz, Shwetangshu Biswas, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

Abstract

La proliferazione delle tecniche di intelligenza artificiale per la generazione di immagini, unite alla loro crescente accessibilità, ha sollevato significative preoccupazioni riguardo al potenziale abuso di queste immagini per diffondere disinformazione. I recenti metodi di rilevamento di immagini generate da intelligenza artificiale (AGID) includono CNNDetection, NPR, Rilevamento Immagine DM, Rilevamento Immagine Falsa, DIRE, LASTED, Rilevamento Immagine GAN, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake e Rilevamento Deep Fake. Tuttavia, sosteniamo che le attuali tecniche AGID all'avanguardia siano inadeguate per rilevare efficacemente le immagini generate da intelligenza artificiale contemporanee e sosteniamo una riesaminazione completa di questi metodi. Introduciamo il Test di Turing Contro Visivo (VCT^2), un benchmark che comprende circa 130.000 immagini generate da modelli di testo-immagine contemporanei (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3 e Midjourney 6). VCT^2 include due serie di stimoli provenienti da tweet dell'account Twitter del New York Times e didascalie dal dataset MS COCO. Valutiamo anche le prestazioni delle suddette tecniche AGID sul benchmark VCT^2, evidenziando la loro inefficacia nel rilevare immagini generate da intelligenza artificiale. Poiché i modelli di intelligenza artificiale generativi continuano a evolversi, diventa sempre più critica la necessità di un quadro quantificabile per valutare questi modelli. Per soddisfare questa esigenza, proponiamo l'Indice di Intelligenza Artificiale Visiva (V_AI), che valuta le immagini generate da varie prospettive visive, inclusa la complessità della texture e la coerenza degli oggetti, stabilendo un nuovo standard per valutare i modelli di intelligenza artificiale generativi di immagini. Per promuovere la ricerca in questo ambito, mettiamo a disposizione pubblica i nostri dataset https://huggingface.co/datasets/anonymous1233/COCO_AI e https://huggingface.co/datasets/anonymous1233/twitter_AI.

English

The proliferation of AI techniques for image generation, coupled with their increasing accessibility, has raised significant concerns about the potential misuse of these images to spread misinformation. Recent AI-generated image detection (AGID) methods include CNNDetection, NPR, DM Image Detection, Fake Image Detection, DIRE, LASTED, GAN Image Detection, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake, and Deep Fake Detection. However, we argue that the current state-of-the-art AGID techniques are inadequate for effectively detecting contemporary AI-generated images and advocate for a comprehensive reevaluation of these methods. We introduce the Visual Counter Turing Test (VCT^2), a benchmark comprising ~130K images generated by contemporary text-to-image models (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3, and Midjourney 6). VCT^2 includes two sets of prompts sourced from tweets by the New York Times Twitter account and captions from the MS COCO dataset. We also evaluate the performance of the aforementioned AGID techniques on the VCT^2 benchmark, highlighting their ineffectiveness in detecting AI-generated images. As image-generative AI models continue to evolve, the need for a quantifiable framework to evaluate these models becomes increasingly critical. To meet this need, we propose the Visual AI Index (V_AI), which assesses generated images from various visual perspectives, including texture complexity and object coherence, setting a new standard for evaluating image-generative AI models. To foster research in this domain, we make our https://huggingface.co/datasets/anonymous1233/COCO_AI and https://huggingface.co/datasets/anonymous1233/twitter_AI datasets publicly available.