불균형한 주의를 해소하여 대규모 시각-언어 모델의 맥락 내 환각을 완화하는 방법

Fixing Imbalanced Attention to Mitigate In-Context Hallucination of Large Vision-Language Model

January 21, 2025

저자: Kazi Hasan Ibn Arif, Sajib Acharjee Dip, Khizar Hussain, Lang Zhang, Chris Thomas

cs.AI

초록

대형 비전 언어 모델(LVLMs)은 시각-언어 작업 전반에 걸쳐 최첨단 성능을 달성하며 시각 콘텐츠를 이해하고 설명하는 놀라운 능력을 보여주었습니다. 그러나 이러한 모델들은 종종 환각 행동을 나타내어 입력 이미지에 없는 객체나 세부 사항을 포함하는 설명을 생성합니다. 본 연구는 트랜스포머 레이어와 헤드 간의 주의 패턴을 분석하여 환각이 주로 깊은 레이어에서 시각적 근거의 점진적 붕괴에서 비롯된다는 것을 밝혀낸다. 우리는 시각적 근거를 생성 프로세스 전체에서 유지하기 위해 선택적 토큰 강조와 헤드별 조절을 결합하는 새로운 주의 수정 접근법을 제안합니다. 우리의 방법은 두 가지 주요 구성 요소를 도입합니다: (1) 로컬로 정보를 제공하고 공간적으로 중요한 시각적 토큰을 식별하고 우선 순위를 매기는 이중 스트림 토큰 선택 메커니즘, 그리고 (2) 측정된 개별 주의 헤드의 시각적 민감도에 기초하여 시각 정보 처리를 차별적으로 증폭하는 주의 헤드별 조절 전략. MSCOCO 데이터셋에서의 광범위한 실험을 통해 우리의 접근법이 기준 모델과 비교하여 환각 비율을 최대 62.3%까지 줄이면서 비슷한 작업 성능을 유지함을 보여줍니다. 우리의 분석은 시각적 민감도가 다른 주의 헤드 간에 토큰을 선택적으로 변조함으로써 모델 재교육이 필요하지 않고도 시각적 근거를 크게 향상시킬 수 있다는 것을 보여줍니다.

English

Large Vision Language Models (LVLMs) have demonstrated remarkable capabilities in understanding and describing visual content, achieving state-of-the-art performance across various vision-language tasks. However, these models frequently exhibit hallucination behavior, where they generate descriptions containing objects or details absent in the input image. Our work investigates this phenomenon by analyzing attention patterns across transformer layers and heads, revealing that hallucinations often stem from progressive degradation of visual grounding in deeper layers. We propose a novel attention modification approach that combines selective token emphasis and head-specific modulation to maintain visual grounding throughout the generation process. Our method introduces two key components: (1) a dual-stream token selection mechanism that identifies and prioritizes both locally informative and spatially significant visual tokens, and (2) an attention head-specific modulation strategy that differentially amplifies visual information processing based on measured visual sensitivity of individual attention heads. Through extensive experimentation on the MSCOCO dataset, we demonstrate that our approach reduces hallucination rates by up to 62.3\% compared to baseline models while maintaining comparable task performance. Our analysis reveals that selectively modulating tokens across attention heads with varying levels of visual sensitivity can significantly improve visual grounding without requiring model retraining.