ReferEverything : Vers la segmentation de tout ce dont nous pouvons parler dans les vidéos

ReferEverything: Towards Segmenting Everything We Can Speak of in Videos

October 30, 2024

Auteurs: Anurag Bagchi, Zhipeng Bao, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

cs.AI

Résumé

Nous présentons REM, un cadre pour segmenter une large gamme de concepts dans des vidéos pouvant être décrits en langage naturel. Notre méthode tire parti des représentations visuelles-langage apprises par les modèles de diffusion vidéo sur des ensembles de données à l'échelle d'Internet. Un point clé de notre approche est de préserver autant que possible la représentation originale du modèle génératif, tout en l'affinant sur des ensembles de données de segmentation d'objets de référence à domaine restreint. En conséquence, notre cadre peut segmenter et suivre avec précision des objets rares et invisibles, bien qu'il soit entraîné sur des masques d'objets d'un ensemble limité de catégories. De plus, il peut se généraliser à des concepts dynamiques non liés aux objets, tels que des vagues se brisant dans l'océan, comme démontré dans notre nouveau banc d'essai introduit pour la segmentation de processus vidéo de référence (Ref-VPS). Nos expériences montrent que REM se comporte au niveau des approches de pointe sur des ensembles de données internes, comme Ref-DAVIS, tout en les surpassant jusqu'à douze points en termes de similarité de région sur des données hors domaine, exploitant la puissance de la pré-formation à l'échelle d'Internet.

English

We present REM, a framework for segmenting a wide range of concepts in video that can be described through natural language. Our method capitalizes on visual-language representations learned by video diffusion models on Internet-scale datasets. A key insight of our approach is preserving as much of the generative model's original representation as possible, while fine-tuning it on narrow-domain Referral Object Segmentation datasets. As a result, our framework can accurately segment and track rare and unseen objects, despite being trained on object masks from a limited set of categories. Additionally, it can generalize to non-object dynamic concepts, such as waves crashing in the ocean, as demonstrated in our newly introduced benchmark for Referral Video Process Segmentation (Ref-VPS). Our experiments show that REM performs on par with state-of-the-art approaches on in-domain datasets, like Ref-DAVIS, while outperforming them by up to twelve points in terms of region similarity on out-of-domain data, leveraging the power of Internet-scale pre-training.