SymDPO: Potenziare l'apprendimento in contesto di grandi modelli multimodali con ottimizzazione diretta delle preferenze dimostrative simboliche.

SymDPO: Boosting In-Context Learning of Large Multimodal Models with Symbol Demonstration Direct Preference Optimization

November 17, 2024

Autori: Hongrui Jia, Chaoya Jiang, Haiyang Xu, Wei Ye, Mengfan Dong, Ming Yan, Ji Zhang, Fei Huang, Shikun Zhang

cs.AI

Abstract

Man mano che i modelli linguistici continuano a scalare, i Grandi Modelli Linguistici (LLM) hanno mostrato capacità emergenti nell'Apprendimento In Contesto (ICL), consentendo loro di risolvere compiti linguistici prefissando alcune dimostrazioni in contesto (ICDs) come contesto. Ispirati da questi progressi, i ricercatori hanno esteso queste tecniche per sviluppare Grandi Modelli Multimodali (LMM) con capacità ICL. Tuttavia, i LMM esistenti affrontano un problema critico: spesso non riescono a sfruttare efficacemente il contesto visivo nelle dimostrazioni multimodali e invece seguono semplicemente schemi testuali. Ciò indica che i LMM non raggiungono un'allineamento efficace tra le dimostrazioni multimodali e le uscite del modello. Per affrontare questo problema, proponiamo Ottimizzazione Diretta delle Preferenze delle Dimostrazioni Simboliche (SymDPO). In particolare, SymDPO mira a rompere il paradigma tradizionale di costruzione delle dimostrazioni multimodali utilizzando simboli casuali per sostituire le risposte testuali all'interno delle istanze. Ciò costringe il modello a comprendere attentamente le immagini di dimostrazione e a stabilire una relazione tra le immagini e i simboli per rispondere correttamente alle domande. Convalidiamo l'efficacia di questo metodo su più benchmark, dimostrando che con SymDPO, i LMM possono comprendere in modo più efficace il contesto multimodale all'interno degli esempi e utilizzare questa conoscenza per rispondere meglio alle domande.

English

As language models continue to scale, Large Language Models (LLMs) have exhibited emerging capabilities in In-Context Learning (ICL), enabling them to solve language tasks by prefixing a few in-context demonstrations (ICDs) as context. Inspired by these advancements, researchers have extended these techniques to develop Large Multimodal Models (LMMs) with ICL capabilities. However, existing LMMs face a critical issue: they often fail to effectively leverage the visual context in multimodal demonstrations and instead simply follow textual patterns. This indicates that LMMs do not achieve effective alignment between multimodal demonstrations and model outputs. To address this problem, we propose Symbol Demonstration Direct Preference Optimization (SymDPO). Specifically, SymDPO aims to break the traditional paradigm of constructing multimodal demonstrations by using random symbols to replace text answers within instances. This forces the model to carefully understand the demonstration images and establish a relationship between the images and the symbols to answer questions correctly. We validate the effectiveness of this method on multiple benchmarks, demonstrating that with SymDPO, LMMs can more effectively understand the multimodal context within examples and utilize this knowledge to answer questions better.