LOKI: 대규모 다중 모달 모델을 활용한 종합적인 합성 데이터 탐지 벤치마크

LOKI: A Comprehensive Synthetic Data Detection Benchmark using Large Multimodal Models

October 13, 2024

저자: Junyan Ye, Baichuan Zhou, Zilong Huang, Junan Zhang, Tianyi Bai, Hengrui Kang, Jun He, Honglin Lin, Zihao Wang, Tong Wu, Zhizheng Wu, Yiping Chen, Dahua Lin, Conghui He, Weijia Li

cs.AI

초록

AI 생성 콘텐츠의 급속한 발전으로 미래 인터넷은 합성 데이터로 넘쳐나게 될 수 있으며, 진짜와 신뢰할 수 있는 다중 모달 데이터를 구별하는 것이 점점 어려워지고 있다. 따라서 합성 데이터 탐지는 널리 주목받고 있으며, 대형 다중 모달 모델(LMMs)의 성능은 이 작업에 상당한 관심을 끌고 있다. LMMs는 자연어 설명을 제공하여 그들의 신뢰성 판단을 향상시키며, 합성 콘텐츠 탐지의 설명 가능성을 향상시킬 수 있다. 동시에 실제와 합성 데이터를 구별하는 작업은 LMMs의 지각, 지식 및 추론 능력을 효과적으로 시험한다. 이에 대응하여 우리는 다중 모달에서 합성 데이터를 탐지하는 능력을 평가하기 위해 설계된 새로운 벤치마크인 LOKI를 소개한다. LOKI는 비디오, 이미지, 3D, 텍스트 및 오디오 모달을 포함하며, 26개 하위 범주에 걸쳐 18,000개의 신중히 선별된 질문을 포함한다. 이 벤치마크에는 대략적인 판단 및 객관식 질문뿐만 아니라 세밀한 이상 징후 선택 및 설명 작업도 포함되어 LMMs의 포괄적인 분석이 가능하다. 우리는 LOKI에서 22개의 오픈 소스 LMMs와 6개의 폐쇄 소스 모델을 평가하여 그들이 합성 데이터 탐지기로서의 잠재력을 강조하고, LMM 능력 개발에 일부 한계를 드러내기도 했다. LOKI에 대한 자세한 정보는 https://opendatalab.github.io/LOKI/에서 확인할 수 있다.

English

With the rapid development of AI-generated content, the future internet may be inundated with synthetic data, making the discrimination of authentic and credible multimodal data increasingly challenging. Synthetic data detection has thus garnered widespread attention, and the performance of large multimodal models (LMMs) in this task has attracted significant interest. LMMs can provide natural language explanations for their authenticity judgments, enhancing the explainability of synthetic content detection. Simultaneously, the task of distinguishing between real and synthetic data effectively tests the perception, knowledge, and reasoning capabilities of LMMs. In response, we introduce LOKI, a novel benchmark designed to evaluate the ability of LMMs to detect synthetic data across multiple modalities. LOKI encompasses video, image, 3D, text, and audio modalities, comprising 18K carefully curated questions across 26 subcategories with clear difficulty levels. The benchmark includes coarse-grained judgment and multiple-choice questions, as well as fine-grained anomaly selection and explanation tasks, allowing for a comprehensive analysis of LMMs. We evaluated 22 open-source LMMs and 6 closed-source models on LOKI, highlighting their potential as synthetic data detectors and also revealing some limitations in the development of LMM capabilities. More information about LOKI can be found at https://opendatalab.github.io/LOKI/