Die Minderung von Objekthalluzinationen durch konzentrische kausale Aufmerksamkeit.

Mitigating Object Hallucination via Concentric Causal Attention

October 21, 2024

Autoren: Yun Xing, Yiheng Li, Ivan Laptev, Shijian Lu

cs.AI

Zusammenfassung

Aktuelle große Vision-Sprachmodelle (LVLMs) zeigen bemerkenswerte Fähigkeiten in Null-Shot-Konversation und Schlussfolgerung bei multimodalen Anfragen. Dennoch leiden sie unter Objekthalluzination, einem Phänomen, bei dem LVLMs dazu neigen, textuelle Antworten zu generieren, die nicht faktisch mit Bildinputs übereinstimmen. Unsere Pilotstudie zeigt, dass die Objekthalluzination eng mit Rotierender Positionsencoding (RoPE) verbunden ist, einem weit verbreiteten Modellierungsdesign für positionale Abhängigkeiten in bestehenden LVLMs. Aufgrund des langfristigen Verfalls in RoPE neigen LVLMs dazu, mehr zu halluzinieren, wenn relevante visuelle Hinweise von Anweisungstoken in der multimodalen Eingabesequenz entfernt sind. Darüber hinaus beobachten wir einen ähnlichen Effekt, wenn die sequenzielle Reihenfolge der visuellen Token während der multimodalen Ausrichtung umgekehrt wird. Unsere Tests deuten darauf hin, dass der langfristige Verfall in RoPE Herausforderungen für LVLMs darstellt, wenn es darum geht, visuell-anleitende Interaktionen über große Entfernungen zu erfassen. Wir schlagen Konzentrische Kausale Aufmerksamkeit (CCA) vor, eine einfache, aber effektive positionale Ausrichtungsstrategie, die die Auswirkungen des langfristigen Verfalls von RoPE in LVLMs durch eine natürliche Reduzierung des relativen Abstands zwischen visuellen und Anweisungstoken mildert. Mit CCA können visuelle Token besser mit Anweisungstoken interagieren, wodurch die Wahrnehmungsfähigkeit des Modells verbessert und die Objekthalluzination gelindert wird. Ohne Schnickschnack übertrifft unsere positionale Ausrichtungsmethode bestehende Halluzinationsminderungsstrategien bei mehreren Objekthalluzinations-Benchmarks deutlich.

English

Recent Large Vision Language Models (LVLMs) present remarkable zero-shot conversational and reasoning capabilities given multimodal queries. Nevertheless, they suffer from object hallucination, a phenomenon where LVLMs are prone to generate textual responses not factually aligned with image inputs. Our pilot study reveals that object hallucination is closely tied with Rotary Position Encoding (RoPE), a widely adopted positional dependency modeling design in existing LVLMs. Due to the long-term decay in RoPE, LVLMs tend to hallucinate more when relevant visual cues are distant from instruction tokens in the multimodal input sequence. Additionally, we observe a similar effect when reversing the sequential order of visual tokens during multimodal alignment. Our tests indicate that long-term decay in RoPE poses challenges to LVLMs while capturing visual-instruction interactions across long distances. We propose Concentric Causal Attention (CCA), a simple yet effective positional alignment strategy that mitigates the impact of RoPE long-term decay in LVLMs by naturally reducing relative distance between visual and instruction tokens. With CCA, visual tokens can better interact with instruction tokens, thereby enhancing model's perception capability and alleviating object hallucination. Without bells and whistles, our positional alignment method surpasses existing hallucination mitigation strategies by large margins on multiple object hallucination benchmarks.