Insight Multidimensionali: Confronto delle Personalizzazioni nel Mondo Reale in Grandi Modelli Multimodali

Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models

December 17, 2024

Autori: YiFan Zhang, Shanglin Lei, Runqi Qiao, Zhuoma GongQue, Xiaoshuai Song, Guanting Dong, Qiuna Tan, Zhe Wei, Peiqing Yang, Ye Tian, Yadong Xue, Xiaofei Wang, Honggang Zhang

cs.AI

Abstract

Il campo in rapida evoluzione dei grandi modelli multimodali (LMM) ha portato all'emergere di modelli diversi con capacità notevoli. Tuttavia, i benchmark esistenti non riescono a valutare in modo esaustivo, obiettivo e accurato se i LMM siano in linea con le diverse esigenze umane in scenari reali. Per colmare questa lacuna, proponiamo il benchmark Multi-Dimensional Insights (MDI), che include oltre 500 immagini che coprono sei scenari comuni della vita umana. In particolare, il MDI-Benchmark offre due vantaggi significativi rispetto alle valutazioni esistenti: (1) Ogni immagine è accompagnata da due tipi di domande: domande semplici per valutare la comprensione del modello dell'immagine e domande complesse per valutare la capacità del modello di analizzare e ragionare oltre il contenuto di base. (2) Riconoscendo che le persone di diverse fasce d'età hanno esigenze e prospettive diverse di fronte allo stesso scenario, il nostro benchmark suddivide le domande in tre categorie di età: giovani, adulti di mezza età e anziani. Questo design consente una valutazione dettagliata delle capacità dei LMM nel soddisfare le preferenze e le esigenze di diverse fasce d'età. Con il MDI-Benchmark, modelli potenti come il GPT-4o raggiungono un'accuratezza del 79% nei compiti legati all'età, indicando che i LMM esistenti hanno ancora ampio margine di miglioramento nell'affrontare applicazioni reali. Guardando avanti, prevediamo che il MDI-Benchmark aprirà nuove vie per allineare la personalizzazione nel mondo reale nei LMM. I dati e il codice di valutazione del MDI-Benchmark sono disponibili su https://mdi-benchmark.github.io/

English

The rapidly developing field of large multimodal models (LMMs) has led to the emergence of diverse models with remarkable capabilities. However, existing benchmarks fail to comprehensively, objectively and accurately evaluate whether LMMs align with the diverse needs of humans in real-world scenarios. To bridge this gap, we propose the Multi-Dimensional Insights (MDI) benchmark, which includes over 500 images covering six common scenarios of human life. Notably, the MDI-Benchmark offers two significant advantages over existing evaluations: (1) Each image is accompanied by two types of questions: simple questions to assess the model's understanding of the image, and complex questions to evaluate the model's ability to analyze and reason beyond basic content. (2) Recognizing that people of different age groups have varying needs and perspectives when faced with the same scenario, our benchmark stratifies questions into three age categories: young people, middle-aged people, and older people. This design allows for a detailed assessment of LMMs' capabilities in meeting the preferences and needs of different age groups. With MDI-Benchmark, the strong model like GPT-4o achieve 79% accuracy on age-related tasks, indicating that existing LMMs still have considerable room for improvement in addressing real-world applications. Looking ahead, we anticipate that the MDI-Benchmark will open new pathways for aligning real-world personalization in LMMs. The MDI-Benchmark data and evaluation code are available at https://mdi-benchmark.github.io/