ReferEverything: Verso la Segmentazione di Tutto Ciò di Cui Possiamo Parlare nei Video

ReferEverything: Towards Segmenting Everything We Can Speak of in Videos

October 30, 2024

Autori: Anurag Bagchi, Zhipeng Bao, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

cs.AI

Abstract

Presentiamo REM, un framework per segmentare una vasta gamma di concetti in video che possono essere descritti attraverso il linguaggio naturale. Il nostro metodo sfrutta le rappresentazioni visivo-linguistiche apprese dai modelli di diffusione video su dataset di scala Internet. Un'idea chiave del nostro approccio è preservare il più possibile la rappresentazione originale del modello generativo, mentre lo ottimizziamo su dataset di segmentazione di oggetti di riferimento a dominio ristretto. Di conseguenza, il nostro framework può segmentare e tracciare con precisione oggetti rari e non visti, nonostante sia stato addestrato su maschere di oggetti di un insieme limitato di categorie. Inoltre, può generalizzare a concetti dinamici non oggettuali, come onde che si infrangono nell'oceano, come dimostrato nel nostro nuovo benchmark per la segmentazione di processi video di riferimento (Ref-VPS). I nostri esperimenti mostrano che REM si comporta alla pari con approcci all'avanguardia su dataset in-domain, come Ref-DAVIS, superandoli fino a dodici punti in termini di similarità regionale su dati out-of-domain, sfruttando la potenza del pre-addestramento su scala Internet.

English

We present REM, a framework for segmenting a wide range of concepts in video that can be described through natural language. Our method capitalizes on visual-language representations learned by video diffusion models on Internet-scale datasets. A key insight of our approach is preserving as much of the generative model's original representation as possible, while fine-tuning it on narrow-domain Referral Object Segmentation datasets. As a result, our framework can accurately segment and track rare and unseen objects, despite being trained on object masks from a limited set of categories. Additionally, it can generalize to non-object dynamic concepts, such as waves crashing in the ocean, as demonstrated in our newly introduced benchmark for Referral Video Process Segmentation (Ref-VPS). Our experiments show that REM performs on par with state-of-the-art approaches on in-domain datasets, like Ref-DAVIS, while outperforming them by up to twelve points in terms of region similarity on out-of-domain data, leveraging the power of Internet-scale pre-training.