Het verminderen van objecthallucinatie via concentrische causale aandacht.

Mitigating Object Hallucination via Concentric Causal Attention

October 21, 2024

Auteurs: Yun Xing, Yiheng Li, Ivan Laptev, Shijian Lu

cs.AI

Samenvatting

Recente Grote Vision Language Modellen (GVLM's) vertonen opmerkelijke zero-shot conversatie- en redeneervaardigheden bij multimodale vragen. Desalniettemin hebben ze last van objecthallucinatie, een fenomeen waarbij GVLM's geneigd zijn tekstuele antwoorden te genereren die niet feitelijk in lijn zijn met de beeldinvoer. Onze pilotstudie onthult dat objecthallucinatie nauw verbonden is met Rotatie Positie Codering (RoPE), een veelgebruikt positioneel afhankelijkheidsmodel in bestaande GVLM's. Door de langetermijnafname in RoPE hebben GVLM's de neiging meer te hallucineren wanneer relevante visuele aanwijzingen ver verwijderd zijn van instructietokens in de multimodale invoersequentie. Daarnaast observeren we een vergelijkbaar effect wanneer de sequentiële volgorde van visuele tokens wordt omgekeerd tijdens multimodale uitlijning. Onze tests geven aan dat langetermijnafname in RoPE uitdagingen vormt voor GVLM's bij het vastleggen van visueel-instructie-interacties over lange afstanden. We stellen Concentrische Causale Aandacht (CCA) voor, een eenvoudige maar effectieve positionele uitlijningsstrategie die de impact van langetermijnafname in RoPE in GVLM's vermindert door de relatieve afstand tussen visuele en instructietokens natuurlijk te verkleinen. Met CCA kunnen visuele tokens beter interageren met instructietokens, waardoor de perceptievermogen van het model wordt verbeterd en objecthallucinatie wordt verlicht. Zonder franje overtreft onze positionele uitlijningsmethode bestaande hallucinatie-mitigatiestrategieën ruimschoots op meerdere objecthallucinatie-benchmarks.

English

Recent Large Vision Language Models (LVLMs) present remarkable zero-shot conversational and reasoning capabilities given multimodal queries. Nevertheless, they suffer from object hallucination, a phenomenon where LVLMs are prone to generate textual responses not factually aligned with image inputs. Our pilot study reveals that object hallucination is closely tied with Rotary Position Encoding (RoPE), a widely adopted positional dependency modeling design in existing LVLMs. Due to the long-term decay in RoPE, LVLMs tend to hallucinate more when relevant visual cues are distant from instruction tokens in the multimodal input sequence. Additionally, we observe a similar effect when reversing the sequential order of visual tokens during multimodal alignment. Our tests indicate that long-term decay in RoPE poses challenges to LVLMs while capturing visual-instruction interactions across long distances. We propose Concentric Causal Attention (CCA), a simple yet effective positional alignment strategy that mitigates the impact of RoPE long-term decay in LVLMs by naturally reducing relative distance between visual and instruction tokens. With CCA, visual tokens can better interact with instruction tokens, thereby enhancing model's perception capability and alleviating object hallucination. Without bells and whistles, our positional alignment method surpasses existing hallucination mitigation strategies by large margins on multiple object hallucination benchmarks.