Omni-RGPT: Объединение понимания областей изображений и видео на уровне регионов с помощью меток токенов

Omni-RGPT: Unifying Image and Video Region-level Understanding via Token Marks

January 14, 2025

Авторы: Miran Heo, Min-Hung Chen, De-An Huang, Sifei Liu, Subhashree Radhakrishnan, Seon Joo Kim, Yu-Chiang Frank Wang, Ryo Hachiuma

cs.AI

Аннотация

Мы представляем Omni-RGPT, мультимодельную крупномасштабную языковую модель, разработанную для обеспечения понимания уровня региона как для изображений, так и для видео. Для достижения последовательного представления регионов в пространственно-временных измерениях мы представляем Token Mark, набор токенов, выделяющих целевые регионы визуального пространства. Эти токены прямо встраиваются в пространственные регионы с использованием региональных подсказок (например, рамок или масок) и одновременно интегрируются в текстовую подсказку для указания цели, устанавливая прямую связь между визуальными и текстовыми токенами. Для дальнейшей поддержки надежного понимания видео без необходимости треклетов мы вводим вспомогательную задачу, которая направляет Token Mark, используя последовательность токенов, обеспечивая стабильную интерпретацию регионов в видео. Кроме того, мы представляем крупномасштабный набор данных с инструкциями для видео на уровне регионов (RegVID-300k). Omni-RGPT достигает лучших результатов на стандартных наборах данных для рассуждений на основе изображений и видео, продемонстрировав сильные показатели в задачах подписывания и понимания выражений обращения.

English

We present Omni-RGPT, a multimodal large language model designed to facilitate region-level comprehension for both images and videos. To achieve consistent region representation across spatio-temporal dimensions, we introduce Token Mark, a set of tokens highlighting the target regions within the visual feature space. These tokens are directly embedded into spatial regions using region prompts (e.g., boxes or masks) and simultaneously incorporated into the text prompt to specify the target, establishing a direct connection between visual and text tokens. To further support robust video understanding without requiring tracklets, we introduce an auxiliary task that guides Token Mark by leveraging the consistency of the tokens, enabling stable region interpretation across the video. Additionally, we introduce a large-scale region-level video instruction dataset (RegVID-300k). Omni-RGPT achieves state-of-the-art results on image and video-based commonsense reasoning benchmarks while showing strong performance in captioning and referring expression comprehension tasks.