Texte et images divulgués ! Une analyse systématique de la contamination des données multimodales de LLM

Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination

November 6, 2024

Auteurs: Dingjie Song, Sicheng Lai, Shunian Chen, Lichao Sun, Benyou Wang

cs.AI

Résumé

La rapide progression des grands modèles de langage multimodaux (GMLM) a démontré des performances supérieures sur divers bancs d'essai multimodaux. Cependant, le problème de la contamination des données pendant l'entraînement crée des défis dans l'évaluation des performances et des comparaisons. Alors que de nombreuses méthodes existent pour détecter la contamination des ensembles de données dans les grands modèles de langage (LLM), elles sont moins efficaces pour les GMLM en raison de leurs différentes modalités et de leurs multiples phases d'entraînement. Dans cette étude, nous introduisons un cadre de détection de contamination des données multimodal, MM-Detect, conçu pour les GMLM. Nos résultats expérimentaux indiquent que MM-Detect est sensible à différents degrés de contamination et peut mettre en évidence des améliorations significatives des performances dues à des fuites de l'ensemble d'entraînement des bancs d'essai multimodaux. De plus, nous explorons également la possibilité d'une contamination provenant de la phase de pré-entraînement des LLM utilisés par les GMLM et de la phase de fine-tuning des GMLM, offrant de nouvelles perspectives sur les étapes auxquelles la contamination peut être introduite.

English

The rapid progression of multimodal large language models (MLLMs) has demonstrated superior performance on various multimodal benchmarks. However, the issue of data contamination during training creates challenges in performance evaluation and comparison. While numerous methods exist for detecting dataset contamination in large language models (LLMs), they are less effective for MLLMs due to their various modalities and multiple training phases. In this study, we introduce a multimodal data contamination detection framework, MM-Detect, designed for MLLMs. Our experimental results indicate that MM-Detect is sensitive to varying degrees of contamination and can highlight significant performance improvements due to leakage of the training set of multimodal benchmarks. Furthermore, We also explore the possibility of contamination originating from the pre-training phase of LLMs used by MLLMs and the fine-tuning phase of MLLMs, offering new insights into the stages at which contamination may be introduced.