Rumo a Legendas de Imagens Hiper-Detalhadas Robustas: Uma Abordagem Multiagente e Métricas de Avaliação Dupla para Factualidade e Cobertura

Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage

December 20, 2024

Autores: Saehyung Lee, Seunghyun Yoon, Trung Bui, Jing Shi, Sungroh Yoon

cs.AI

Resumo

Os modelos de linguagem multimodais de grande escala (MLLMs) destacam-se na geração de legendas altamente detalhadas, mas frequentemente produzem alucinações. Nossa análise revela que os métodos existentes de detecção de alucinações têm dificuldade com legendas detalhadas. Atribuímos isso à crescente dependência dos MLLMs em seu texto gerado, em vez da imagem de entrada, à medida que o comprimento da sequência aumenta. Para lidar com esse problema, propomos uma abordagem multiagente que aproveita a colaboração LLM-MLLM para corrigir legendas fornecidas. Além disso, introduzimos um framework de avaliação e um conjunto de dados de referência para facilitar a análise sistemática de legendas detalhadas. Nossos experimentos demonstram que nosso método de avaliação proposto se alinha melhor com os julgamentos humanos de factualidade do que as métricas existentes e que as abordagens existentes para melhorar a factualidade do MLLM podem ser insuficientes em tarefas de legendagem de imagens hiperdetalhadas. Em contraste, nosso método proposto melhora significativamente a precisão factual das legendas, inclusive aprimorando aquelas geradas pelo GPT-4V. Por fim, destacamos uma limitação da avaliação centrada em VQA ao demonstrar que o desempenho de um MLLM em benchmarks de VQA pode não se correlacionar com sua capacidade de gerar legendas detalhadas de imagens.

English

Multimodal large language models (MLLMs) excel at generating highly detailed captions but often produce hallucinations. Our analysis reveals that existing hallucination detection methods struggle with detailed captions. We attribute this to the increasing reliance of MLLMs on their generated text, rather than the input image, as the sequence length grows. To address this issue, we propose a multiagent approach that leverages LLM-MLLM collaboration to correct given captions. Additionally, we introduce an evaluation framework and a benchmark dataset to facilitate the systematic analysis of detailed captions. Our experiments demonstrate that our proposed evaluation method better aligns with human judgments of factuality than existing metrics and that existing approaches to improve the MLLM factuality may fall short in hyper-detailed image captioning tasks. In contrast, our proposed method significantly enhances the factual accuracy of captions, even improving those generated by GPT-4V. Finally, we highlight a limitation of VQA-centric benchmarking by demonstrating that an MLLM's performance on VQA benchmarks may not correlate with its ability to generate detailed image captions.