頑健なハイパー詳細画像キャプションへ向けて：マルチエージェントアプローチと事実性とカバレッジのための二重評価メトリクス

要旨

マルチモーダル大規模言語モデル（MLLMs）は、非常に詳細なキャプションを生成するのに優れていますが、しばしば幻覚を生じます。我々の分析によると、既存の幻覚検出手法は詳細なキャプションに苦労しています。これは、シーケンスの長さが増すにつれて、MLLMsが生成されたテキストに依存する割合が高まっていることに起因すると考えられます。この問題に対処するために、我々は、与えられたキャプションを修正するためにLLM-MLLMの協力を活用するマルチエージェントアプローチを提案します。さらに、詳細なキャプションの体系的な分析を促進する評価フレームワークとベンチマークデータセットを導入します。我々の実験は、提案された評価方法が既存の指標よりも人間の事実判断とよりよく一致し、MLLMの事実性を向上させる既存のアプローチがハイパー詳細な画像キャプションタスクで短所があることを示しています。一方、提案された手法は、GPT-4Vによって生成されたキャプションをさらに向上させることで、キャプションの事実的な正確さを著しく向上させます。最後に、MLLMの性能がVQAベンチマークでどのようになるかは、詳細な画像キャプションを生成する能力とは相関しない可能性があることを示すことで、VQA中心のベンチマークの限界を強調します。

English

Multimodal large language models (MLLMs) excel at generating highly detailed captions but often produce hallucinations. Our analysis reveals that existing hallucination detection methods struggle with detailed captions. We attribute this to the increasing reliance of MLLMs on their generated text, rather than the input image, as the sequence length grows. To address this issue, we propose a multiagent approach that leverages LLM-MLLM collaboration to correct given captions. Additionally, we introduce an evaluation framework and a benchmark dataset to facilitate the systematic analysis of detailed captions. Our experiments demonstrate that our proposed evaluation method better aligns with human judgments of factuality than existing metrics and that existing approaches to improve the MLLM factuality may fall short in hyper-detailed image captioning tasks. In contrast, our proposed method significantly enhances the factual accuracy of captions, even improving those generated by GPT-4V. Finally, we highlight a limitation of VQA-centric benchmarking by demonstrating that an MLLM's performance on VQA benchmarks may not correlate with its ability to generate detailed image captions.

頑健なハイパー詳細画像キャプションへ向けて：マルチエージェントアプローチと事実性とカバレッジのための二重評価メトリクス

Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage

要旨

Summary

Support

Support