Omni-RGPT: Vereinheitlichung des Verständnisses von Bild- und Video-Regionen auf Token-Ebene

Omni-RGPT: Unifying Image and Video Region-level Understanding via Token Marks

January 14, 2025

Autoren: Miran Heo, Min-Hung Chen, De-An Huang, Sifei Liu, Subhashree Radhakrishnan, Seon Joo Kim, Yu-Chiang Frank Wang, Ryo Hachiuma

cs.AI

Zusammenfassung

Wir präsentieren Omni-RGPT, ein multimodales großes Sprachmodell, das darauf ausgelegt ist, die regionale Ebene für sowohl Bilder als auch Videos zu verstehen. Um eine konsistente Repräsentation von Regionen über Raum-zeitliche Dimensionen hinweg zu erreichen, führen wir Token Mark ein, eine Gruppe von Token, die die Zielregionen im visuellen Merkmalsraum hervorheben. Diese Token werden direkt in räumliche Regionen eingebettet, indem Region-Prompts (z. B. Boxen oder Masken) verwendet werden, und gleichzeitig in den Text-Prompt eingebunden, um das Ziel zu spezifizieren und eine direkte Verbindung zwischen visuellen und Text-Token herzustellen. Um eine robuste Video-Verständnis zu unterstützen, ohne Tracklets zu benötigen, führen wir eine zusätzliche Aufgabe ein, die Token Mark durch die Nutzung der Konsistenz der Token lenkt und eine stabile Interpretation der Regionen über das Video ermöglicht. Darüber hinaus stellen wir einen groß angelegten Video-Anweisungsdatensatz auf Regionsebene vor (RegVID-300k). Omni-RGPT erzielt Spitzenleistungen bei Bild- und Video-basierten Common-Sense-Reasoning-Benchmarks und zeigt eine starke Leistung bei Bildunterschriften und Verweisausdrucksverständnis-Aufgaben.

English

We present Omni-RGPT, a multimodal large language model designed to facilitate region-level comprehension for both images and videos. To achieve consistent region representation across spatio-temporal dimensions, we introduce Token Mark, a set of tokens highlighting the target regions within the visual feature space. These tokens are directly embedded into spatial regions using region prompts (e.g., boxes or masks) and simultaneously incorporated into the text prompt to specify the target, establishing a direct connection between visual and text tokens. To further support robust video understanding without requiring tracklets, we introduce an auxiliary task that guides Token Mark by leveraging the consistency of the tokens, enabling stable region interpretation across the video. Additionally, we introduce a large-scale region-level video instruction dataset (RegVID-300k). Omni-RGPT achieves state-of-the-art results on image and video-based commonsense reasoning benchmarks while showing strong performance in captioning and referring expression comprehension tasks.