Het corrigeren van onevenwichtige aandacht om in-context hallucinatie van een groot visie-taalmodel te verminderen.

Fixing Imbalanced Attention to Mitigate In-Context Hallucination of Large Vision-Language Model

January 21, 2025

Auteurs: Kazi Hasan Ibn Arif, Sajib Acharjee Dip, Khizar Hussain, Lang Zhang, Chris Thomas

cs.AI

Samenvatting

Grote Vision Language Modellen (GVLM's) hebben opmerkelijke capaciteiten aangetoond in het begrijpen en beschrijven van visuele inhoud, waarbij ze state-of-the-art prestaties behalen bij verschillende visie-taal taken. Echter, deze modellen vertonen vaak hallucinatiegedrag, waarbij ze beschrijvingen genereren die objecten of details bevatten die afwezig zijn in de invoerafbeelding. Ons werk onderzoekt dit fenomeen door de aandachtspatronen over transformerlagen en -hoofden te analyseren, waarbij blijkt dat hallucinaties vaak voortkomen uit progressieve degradatie van visuele verankering in diepere lagen. We stellen een nieuw aandachtsmodificatiebenadering voor die selectieve tokenbenadrukking en hoofdspecifieke modulatie combineert om visuele verankering gedurende het generatieproces te handhaven. Onze methode introduceert twee sleutelcomponenten: (1) een dubbelstroom tokenselectiemechanisme dat zowel lokaal informatieve als ruimtelijk significante visuele tokens identificeert en prioriteert, en (2) een aandachts-hoofdspecifieke modulatiestrategie die visuele informatie versterkt op basis van de gemeten visuele gevoeligheid van individuele aandachts-hoofden. Door uitgebreide experimenten op de MSCOCO-dataset tonen we aan dat onze benadering hallucinaties met maximaal 62,3% vermindert in vergelijking met basismodellen, terwijl de taakprestaties vergelijkbaar blijven. Onze analyse onthult dat selectieve modulatie van tokens over aandachts-hoofden met verschillende niveaus van visuele gevoeligheid de visuele verankering aanzienlijk kan verbeteren zonder dat daarvoor modelhertraining nodig is.

English

Large Vision Language Models (LVLMs) have demonstrated remarkable capabilities in understanding and describing visual content, achieving state-of-the-art performance across various vision-language tasks. However, these models frequently exhibit hallucination behavior, where they generate descriptions containing objects or details absent in the input image. Our work investigates this phenomenon by analyzing attention patterns across transformer layers and heads, revealing that hallucinations often stem from progressive degradation of visual grounding in deeper layers. We propose a novel attention modification approach that combines selective token emphasis and head-specific modulation to maintain visual grounding throughout the generation process. Our method introduces two key components: (1) a dual-stream token selection mechanism that identifies and prioritizes both locally informative and spatially significant visual tokens, and (2) an attention head-specific modulation strategy that differentially amplifies visual information processing based on measured visual sensitivity of individual attention heads. Through extensive experimentation on the MSCOCO dataset, we demonstrate that our approach reduces hallucination rates by up to 62.3\% compared to baseline models while maintaining comparable task performance. Our analysis reveals that selectively modulating tokens across attention heads with varying levels of visual sensitivity can significantly improve visual grounding without requiring model retraining.