Modelli di linguaggio multimodali personalizzati: un'indagine

Personalized Multimodal Large Language Models: A Survey

December 3, 2024

Autori: Junda Wu, Hanjia Lyu, Yu Xia, Zhehao Zhang, Joe Barrow, Ishita Kumar, Mehrnoosh Mirtaheri, Hongjie Chen, Ryan A. Rossi, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, Jiuxiang Gu, Nesreen K. Ahmed, Yu Wang, Xiang Chen, Hanieh Deilamsalehy, Namyong Park, Sungchul Kim, Huanrui Yang, Subrata Mitra, Zhengmian Hu, Nedim Lipka, Dang Nguyen, Yue Zhao, Jiebo Luo, Julian McAuley

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) sono diventati sempre più importanti a causa delle loro prestazioni all'avanguardia e della capacità di integrare molteplici modalità di dati, come testo, immagini e audio, per svolgere compiti complessi con elevata precisione. Questo articolo presenta un'esaustiva panoramica sui modelli linguistici multimodali di grandi dimensioni personalizzati, concentrandosi sulla loro architettura, metodi di addestramento e applicazioni. Proponiamo una tassonomia intuitiva per classificare le tecniche utilizzate per personalizzare i MLLM per singoli utenti e ne discutiamo di conseguenza. Inoltre, esaminiamo come tali tecniche possano essere combinate o adattate quando appropriato, evidenziandone i vantaggi e le ragioni sottostanti. Forniamo anche un breve riassunto dei compiti di personalizzazione indagati nella ricerca esistente, insieme alle metriche di valutazione comunemente utilizzate. Inoltre, riassumiamo i set di dati utili per il benchmarking dei MLLM personalizzati. Infine, delineiamo le sfide aperte critiche. Questa panoramica mira a essere una risorsa preziosa per ricercatori e professionisti che desiderano comprendere e far progredire lo sviluppo dei modelli linguistici multimodali di grandi dimensioni personalizzati.

English

Multimodal Large Language Models (MLLMs) have become increasingly important due to their state-of-the-art performance and ability to integrate multiple data modalities, such as text, images, and audio, to perform complex tasks with high accuracy. This paper presents a comprehensive survey on personalized multimodal large language models, focusing on their architecture, training methods, and applications. We propose an intuitive taxonomy for categorizing the techniques used to personalize MLLMs to individual users, and discuss the techniques accordingly. Furthermore, we discuss how such techniques can be combined or adapted when appropriate, highlighting their advantages and underlying rationale. We also provide a succinct summary of personalization tasks investigated in existing research, along with the evaluation metrics commonly used. Additionally, we summarize the datasets that are useful for benchmarking personalized MLLMs. Finally, we outline critical open challenges. This survey aims to serve as a valuable resource for researchers and practitioners seeking to understand and advance the development of personalized multimodal large language models.