시각적 카운터 튜링 테스트 (VCT^2): AI 생성 이미지 감지의 어려움 발견 및 시각적 AI 지수 (V_AI) 소개

Visual Counter Turing Test (VCT^2): Discovering the Challenges for AI-Generated Image Detection and Introducing Visual AI Index (V_AI)

November 24, 2024

저자: Nasrin Imanpour, Shashwat Bajpai, Subhankar Ghosh, Sainath Reddy Sankepally, Abhilekh Borah, Hasnat Md Abdullah, Nishoak Kosaraju, Shreyas Dixit, Ashhar Aziz, Shwetangshu Biswas, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

초록

이미지 생성을 위한 AI 기술의 확산과 그들의 접근성 증가는 이러한 이미지가 잘못된 정보를 전파하는 데 악용될 수 있는 가능성에 대한 중요한 우려를 제기했습니다. 최근 AI 생성 이미지 탐지(AGID) 방법에는 CNNDetection, NPR, DM Image Detection, Fake Image Detection, DIRE, LASTED, GAN Image Detection, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake, Deep Fake Detection 등이 포함됩니다. 그러나 우리는 현재의 최첨단 AGID 기술이 현대 AI 생성 이미지를 효과적으로 탐지하는 데 미흡하다고 주장하며 이러한 방법들에 대한 철저한 재평가를 주장합니다. 우리는 현대 텍스트-이미지 모델(Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3, Midjourney 6)에 의해 생성된 약 130,000개의 이미지로 구성된 벤치마크인 Visual Counter Turing Test (VCT^2)를 소개합니다. VCT^2에는 뉴욕 타임스 트위터 계정의 트윗과 MS COCO 데이터셋의 캡션에서 가져온 두 가지 프롬프트 세트가 포함되어 있습니다. 또한 우리는 상기 AGID 기술들의 VCT^2 벤치마크에서의 성능을 평가하여 이러한 방법들이 AI 생성 이미지를 탐지하는 데 효과가 없다는 점을 강조합니다. 이미지 생성 AI 모델이 계속 발전함에 따라 이러한 모델을 평가하기 위한 측정 가능한 프레임워크의 필요성이 점점 중요해지고 있습니다. 이러한 필요성을 충족시키기 위해 우리는 생성된 이미지를 텍스처 복잡성 및 객체 일관성을 포함한 다양한 시각적 관점에서 평가하는 Visual AI Index (V_AI)를 제안하여 이미지 생성 AI 모델을 평가하는 새로운 표준을 설정합니다. 이 분야의 연구를 촉진하기 위해 우리는 https://huggingface.co/datasets/anonymous1233/COCO_AI 및 https://huggingface.co/datasets/anonymous1233/twitter_AI 데이터셋을 공개적으로 제공합니다.

English

The proliferation of AI techniques for image generation, coupled with their increasing accessibility, has raised significant concerns about the potential misuse of these images to spread misinformation. Recent AI-generated image detection (AGID) methods include CNNDetection, NPR, DM Image Detection, Fake Image Detection, DIRE, LASTED, GAN Image Detection, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake, and Deep Fake Detection. However, we argue that the current state-of-the-art AGID techniques are inadequate for effectively detecting contemporary AI-generated images and advocate for a comprehensive reevaluation of these methods. We introduce the Visual Counter Turing Test (VCT^2), a benchmark comprising ~130K images generated by contemporary text-to-image models (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3, and Midjourney 6). VCT^2 includes two sets of prompts sourced from tweets by the New York Times Twitter account and captions from the MS COCO dataset. We also evaluate the performance of the aforementioned AGID techniques on the VCT^2 benchmark, highlighting their ineffectiveness in detecting AI-generated images. As image-generative AI models continue to evolve, the need for a quantifiable framework to evaluate these models becomes increasingly critical. To meet this need, we propose the Visual AI Index (V_AI), which assesses generated images from various visual perspectives, including texture complexity and object coherence, setting a new standard for evaluating image-generative AI models. To foster research in this domain, we make our https://huggingface.co/datasets/anonymous1233/COCO_AI and https://huggingface.co/datasets/anonymous1233/twitter_AI datasets publicly available.