텍스트와 이미지가 누출되었습니다! 다중 모달 LLM 데이터 오염의 체계적 분석

Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination

November 6, 2024

저자: Dingjie Song, Sicheng Lai, Shunian Chen, Lichao Sun, Benyou Wang

cs.AI

초록

다중 모달 대형 언어 모델(MLLMs)의 신속한 발전은 다양한 다중 모달 벤치마크에서 우수한 성능을 보여주었습니다. 그러나 훈련 중 발생하는 데이터 오염 문제는 성능 평가와 비교에 어려움을 줍니다. 대형 언어 모델(LLMs)에서 데이터셋 오염을 감지하는 다양한 방법이 존재하지만, MLLMs의 다양한 모달리티와 다중 훈련 단계로 인해 이러한 방법들은 효과적이지 않습니다. 본 연구에서는 MLLMs를 위해 고안된 다중 모달 데이터 오염 감지 프레임워크 MM-Detect를 소개합니다. 실험 결과는 MM-Detect가 다양한 오염 정도에 민감하며, 다중 모달 벤치마크의 훈련 세트 유출로 인한 중요한 성능 향상을 강조할 수 있음을 보여줍니다. 더 나아가, MLLMs에서 사용되는 LLMs의 사전 훈련 단계와 MLLMs의 미세 조정 단계에서 발생할 수 있는 오염 가능성을 탐구하여, 오염이 어느 단계에서 발생할 수 있는지에 대한 새로운 통찰을 제공합니다.

English

The rapid progression of multimodal large language models (MLLMs) has demonstrated superior performance on various multimodal benchmarks. However, the issue of data contamination during training creates challenges in performance evaluation and comparison. While numerous methods exist for detecting dataset contamination in large language models (LLMs), they are less effective for MLLMs due to their various modalities and multiple training phases. In this study, we introduce a multimodal data contamination detection framework, MM-Detect, designed for MLLMs. Our experimental results indicate that MM-Detect is sensitive to varying degrees of contamination and can highlight significant performance improvements due to leakage of the training set of multimodal benchmarks. Furthermore, We also explore the possibility of contamination originating from the pre-training phase of LLMs used by MLLMs and the fine-tuning phase of MLLMs, offering new insights into the stages at which contamination may be introduced.