로버스트한 초상세 이미지 캡션 작성을 향하여: 다중 에이전트 접근법 및 사실성과 커버리지를 위한 이중 평가 메트릭
Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage
December 20, 2024
저자: Saehyung Lee, Seunghyun Yoon, Trung Bui, Jing Shi, Sungroh Yoon
cs.AI
초록
다중 모달 대형 언어 모델(MLLMs)은 매우 자세한 캡션을 생성하는 데 뛰어나지만 종종 환각을 유발합니다. 우리의 분석 결과, 기존의 환각 탐지 방법은 자세한 캡션에 어려움을 겪는 것으로 나타났습니다. 이는 시퀀스 길이가 증가함에 따라 MLLMs이 생성된 텍스트에 더 의존하게 되는 것에 기인한다고 합니다. 이 문제를 해결하기 위해, 우리는 LLM-MLLM 협력을 활용하는 다중 에이전트 접근 방식을 제안합니다. 더불어, 자세한 캡션의 체계적인 분석을 용이하게 하기 위해 평가 프레임워크와 벤치마크 데이터셋을 소개합니다. 우리의 실험 결과는 우리가 제안한 평가 방법이 기존 지표보다 사실성에 대한 인간 판단과 더 잘 부합하며, MLLM 사실성을 향상시키기 위한 기존 방법이 초자세한 이미지 캡션 작업에서 부족할 수 있다는 것을 보여줍니다. 반면, 우리가 제안한 방법은 사실적인 캡션의 정확성을 크게 향상시키며, 심지어 GPT-4V가 생성한 캡션도 개선합니다. 마지막으로, VQA 중심의 벤치마킹의 한계를 강조하며, MLLM의 VQA 벤치마크에서의 성능이 자세한 이미지 캡션 생성 능력과 상관관계가 없을 수 있다는 것을 입증합니다.
English
Multimodal large language models (MLLMs) excel at generating highly detailed
captions but often produce hallucinations. Our analysis reveals that existing
hallucination detection methods struggle with detailed captions. We attribute
this to the increasing reliance of MLLMs on their generated text, rather than
the input image, as the sequence length grows. To address this issue, we
propose a multiagent approach that leverages LLM-MLLM collaboration to correct
given captions. Additionally, we introduce an evaluation framework and a
benchmark dataset to facilitate the systematic analysis of detailed captions.
Our experiments demonstrate that our proposed evaluation method better aligns
with human judgments of factuality than existing metrics and that existing
approaches to improve the MLLM factuality may fall short in hyper-detailed
image captioning tasks. In contrast, our proposed method significantly enhances
the factual accuracy of captions, even improving those generated by GPT-4V.
Finally, we highlight a limitation of VQA-centric benchmarking by demonstrating
that an MLLM's performance on VQA benchmarks may not correlate with its ability
to generate detailed image captions.