Text und Bilder wurden geleakt! Eine systematische Analyse von multimodaler LLM-Datenkontamination.

Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination

November 6, 2024

Autoren: Dingjie Song, Sicheng Lai, Shunian Chen, Lichao Sun, Benyou Wang

cs.AI

Zusammenfassung

Die rasante Entwicklung von multimodalen großen Sprachmodellen (MLLMs) hat eine überlegene Leistung bei verschiedenen multimodalen Benchmarks gezeigt. Allerdings führt das Problem der Datenkontamination während des Trainings zu Herausforderungen bei der Leistungsbewertung und -vergleich. Obwohl zahlreiche Methoden zur Erkennung von Datensatzkontamination in großen Sprachmodellen (LLMs) existieren, sind sie für MLLMs aufgrund ihrer verschiedenen Modalitäten und mehreren Trainingsphasen weniger effektiv. In dieser Studie stellen wir ein multimodales Rahmenwerk zur Erkennung von Datenkontamination, MM-Detect, vor, das speziell für MLLMs entwickelt wurde. Unsere experimentellen Ergebnisse zeigen, dass MM-Detect empfindlich auf unterschiedliche Grade von Kontamination reagiert und signifikante Leistungsverbesserungen aufgrund von Datenlecks des Trainingssets multimodaler Benchmarks aufzeigen kann. Darüber hinaus untersuchen wir auch die Möglichkeit der Kontamination, die aus der Vorphase des Trainings von LLMs, die von MLLMs verwendet werden, und der Feinabstimmungsphase von MLLMs stammt, und bieten neue Einblicke in die Phasen, in denen Kontamination eingeführt werden kann.

English

The rapid progression of multimodal large language models (MLLMs) has demonstrated superior performance on various multimodal benchmarks. However, the issue of data contamination during training creates challenges in performance evaluation and comparison. While numerous methods exist for detecting dataset contamination in large language models (LLMs), they are less effective for MLLMs due to their various modalities and multiple training phases. In this study, we introduce a multimodal data contamination detection framework, MM-Detect, designed for MLLMs. Our experimental results indicate that MM-Detect is sensitive to varying degrees of contamination and can highlight significant performance improvements due to leakage of the training set of multimodal benchmarks. Furthermore, We also explore the possibility of contamination originating from the pre-training phase of LLMs used by MLLMs and the fine-tuning phase of MLLMs, offering new insights into the stages at which contamination may be introduced.