Zowel tekst als afbeeldingen gelekt! Een systematische analyse van multimodale LLM-gegevensverontreiniging.

Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination

November 6, 2024

Auteurs: Dingjie Song, Sicheng Lai, Shunian Chen, Lichao Sun, Benyou Wang

cs.AI

Samenvatting

De snelle vooruitgang van multimodale grote taalmodellen (MLLM's) heeft superieure prestaties aangetoond op verschillende multimodale benchmarks. Echter, het probleem van gegevensverontreiniging tijdens training zorgt voor uitdagingen bij prestatie-evaluatie en vergelijking. Hoewel er talrijke methoden bestaan voor het detecteren van datasetverontreiniging in grote taalmodellen (LLM's), zijn ze minder effectief voor MLLM's vanwege hun verschillende modaliteiten en meerdere trainingsfasen. In deze studie introduceren we een multimodale gegevensverontreinigingsdetectiekader, MM-Detect, ontworpen voor MLLM's. Onze experimentele resultaten geven aan dat MM-Detect gevoelig is voor verschillende gradaties van verontreiniging en significante prestatieverbeteringen kan aantonen als gevolg van lekkage van de trainingsset van multimodale benchmarks. Verder onderzoeken we ook de mogelijkheid van verontreiniging die voortkomt uit de pre-trainingsfase van LLM's die worden gebruikt door MLLM's en de fine-tuningfase van MLLM's, wat nieuwe inzichten biedt in de fasen waarin verontreiniging kan worden geïntroduceerd.

English

The rapid progression of multimodal large language models (MLLMs) has demonstrated superior performance on various multimodal benchmarks. However, the issue of data contamination during training creates challenges in performance evaluation and comparison. While numerous methods exist for detecting dataset contamination in large language models (LLMs), they are less effective for MLLMs due to their various modalities and multiple training phases. In this study, we introduce a multimodal data contamination detection framework, MM-Detect, designed for MLLMs. Our experimental results indicate that MM-Detect is sensitive to varying degrees of contamination and can highlight significant performance improvements due to leakage of the training set of multimodal benchmarks. Furthermore, We also explore the possibility of contamination originating from the pre-training phase of LLMs used by MLLMs and the fine-tuning phase of MLLMs, offering new insights into the stages at which contamination may be introduced.