Omni-RGPT: Unificazione della comprensione a livello di regione di immagini e video tramite segni di token

Omni-RGPT: Unifying Image and Video Region-level Understanding via Token Marks

January 14, 2025

Autori: Miran Heo, Min-Hung Chen, De-An Huang, Sifei Liu, Subhashree Radhakrishnan, Seon Joo Kim, Yu-Chiang Frank Wang, Ryo Hachiuma

cs.AI

Abstract

Presentiamo Omni-RGPT, un grande modello di linguaggio multimodale progettato per facilitare la comprensione a livello di regione sia per le immagini che per i video. Per ottenere una rappresentazione coerente delle regioni attraverso le dimensioni spazio-temporali, introduciamo Token Mark, un insieme di token che evidenziano le regioni target all'interno dello spazio delle caratteristiche visive. Questi token sono direttamente incorporati nelle regioni spaziali utilizzando prompt di regione (ad esempio, box o maschere) e contemporaneamente incorporati nel prompt di testo per specificare il target, stabilendo una connessione diretta tra i token visivi e di testo. Per supportare ulteriormente la comprensione robusta dei video senza richiedere tracce, introduciamo un compito ausiliario che guida Token Mark sfruttando la coerenza dei token, consentendo un'interpretazione stabile delle regioni in tutto il video. Inoltre, presentiamo un ampio dataset di istruzioni video a livello di regione (RegVID-300k). Omni-RGPT ottiene risultati di primo piano su benchmark di ragionamento intuitivo basato su immagini e video, mostrando nel contempo una forte performance nei compiti di sottotitolazione e comprensione delle espressioni di riferimento.

English

We present Omni-RGPT, a multimodal large language model designed to facilitate region-level comprehension for both images and videos. To achieve consistent region representation across spatio-temporal dimensions, we introduce Token Mark, a set of tokens highlighting the target regions within the visual feature space. These tokens are directly embedded into spatial regions using region prompts (e.g., boxes or masks) and simultaneously incorporated into the text prompt to specify the target, establishing a direct connection between visual and text tokens. To further support robust video understanding without requiring tracklets, we introduce an auxiliary task that guides Token Mark by leveraging the consistency of the tokens, enabling stable region interpretation across the video. Additionally, we introduce a large-scale region-level video instruction dataset (RegVID-300k). Omni-RGPT achieves state-of-the-art results on image and video-based commonsense reasoning benchmarks while showing strong performance in captioning and referring expression comprehension tasks.