Visão Multidimensional: Avaliando o Personalização no Mundo Real em Grandes Modelos Multimodais

Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models

December 17, 2024
Autores: YiFan Zhang, Shanglin Lei, Runqi Qiao, Zhuoma GongQue, Xiaoshuai Song, Guanting Dong, Qiuna Tan, Zhe Wei, Peiqing Yang, Ye Tian, Yadong Xue, Xiaofei Wang, Honggang Zhang
cs.AI

Resumo

O campo em rápida evolução dos grandes modelos multimodais (LMMs) levou ao surgimento de diversos modelos com capacidades notáveis. No entanto, os benchmarks existentes falham em avaliar de forma abrangente, objetiva e precisa se os LMMs estão alinhados com as diversas necessidades dos humanos em cenários do mundo real. Para preencher essa lacuna, propomos o benchmark de Insights Multidimensionais (MDI), que inclui mais de 500 imagens abrangendo seis cenários comuns da vida humana. Notavelmente, o MDI-Benchmark oferece duas vantagens significativas em relação às avaliações existentes: (1) Cada imagem é acompanhada por dois tipos de perguntas: perguntas simples para avaliar a compreensão do modelo da imagem e perguntas complexas para avaliar a capacidade do modelo de analisar e raciocinar além do conteúdo básico. (2) Reconhecendo que pessoas de diferentes faixas etárias têm necessidades e perspectivas variadas ao enfrentar o mesmo cenário, nosso benchmark estratifica as perguntas em três categorias de idade: jovens, pessoas de meia-idade e idosos. Esse design permite uma avaliação detalhada das capacidades dos LMMs em atender às preferências e necessidades de diferentes grupos etários. Com o MDI-Benchmark, modelos robustos como o GPT-4 alcançam 79% de precisão em tarefas relacionadas à idade, indicando que os LMMs existentes ainda têm um espaço considerável para melhorias na abordagem de aplicações do mundo real. Olhando para o futuro, antecipamos que o MDI-Benchmark abrirá novos caminhos para alinhar a personalização do mundo real nos LMMs. Os dados e o código de avaliação do MDI-Benchmark estão disponíveis em https://mdi-benchmark.github.io/
English
The rapidly developing field of large multimodal models (LMMs) has led to the emergence of diverse models with remarkable capabilities. However, existing benchmarks fail to comprehensively, objectively and accurately evaluate whether LMMs align with the diverse needs of humans in real-world scenarios. To bridge this gap, we propose the Multi-Dimensional Insights (MDI) benchmark, which includes over 500 images covering six common scenarios of human life. Notably, the MDI-Benchmark offers two significant advantages over existing evaluations: (1) Each image is accompanied by two types of questions: simple questions to assess the model's understanding of the image, and complex questions to evaluate the model's ability to analyze and reason beyond basic content. (2) Recognizing that people of different age groups have varying needs and perspectives when faced with the same scenario, our benchmark stratifies questions into three age categories: young people, middle-aged people, and older people. This design allows for a detailed assessment of LMMs' capabilities in meeting the preferences and needs of different age groups. With MDI-Benchmark, the strong model like GPT-4o achieve 79% accuracy on age-related tasks, indicating that existing LMMs still have considerable room for improvement in addressing real-world applications. Looking ahead, we anticipate that the MDI-Benchmark will open new pathways for aligning real-world personalization in LMMs. The MDI-Benchmark data and evaluation code are available at https://mdi-benchmark.github.io/

Summary

AI-Generated Summary

PDF413December 18, 2024