ReferAlles: Auf dem Weg zur Segmentierung von allem, worüber wir in Videos sprechen können

ReferEverything: Towards Segmenting Everything We Can Speak of in Videos

October 30, 2024

Autoren: Anurag Bagchi, Zhipeng Bao, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

cs.AI

Zusammenfassung

Wir präsentieren REM, ein Framework zur Segmentierung einer Vielzahl von Konzepten in Videos, die durch natürliche Sprache beschrieben werden können. Unsere Methode nutzt visuell-sprachliche Repräsentationen, die von Video-Diffusionsmodellen auf Internet-Maßstabsdatensätzen gelernt wurden. Ein Schlüsselerkenntnis unseres Ansatzes besteht darin, so viel wie möglich von der ursprünglichen Repräsentation des generativen Modells zu bewahren, während es auf schmale Referral Object Segmentation-Datensätze feinabgestimmt wird. Als Ergebnis kann unser Framework seltene und ungesehene Objekte präzise segmentieren und verfolgen, obwohl es auf Objektmasken aus einer begrenzten Anzahl von Kategorien trainiert wurde. Darüber hinaus kann es auf nicht-objektbezogene dynamische Konzepte verallgemeinern, wie beispielsweise Wellen, die im Ozean brechen, wie in unserem neu eingeführten Benchmark für Referral Video Process Segmentation (Ref-VPS) gezeigt. Unsere Experimente zeigen, dass REM auf Augenhöhe mit state-of-the-art Ansätzen auf in-domain Datensätzen wie Ref-DAVIS abschneidet, während es sie auf out-of-domain Daten um bis zu zwölf Punkte in Bezug auf die Regionenähnlichkeit übertrifft, indem es die Leistung des Internet-Maßstabs-Vortrainings nutzt.

English

We present REM, a framework for segmenting a wide range of concepts in video that can be described through natural language. Our method capitalizes on visual-language representations learned by video diffusion models on Internet-scale datasets. A key insight of our approach is preserving as much of the generative model's original representation as possible, while fine-tuning it on narrow-domain Referral Object Segmentation datasets. As a result, our framework can accurately segment and track rare and unseen objects, despite being trained on object masks from a limited set of categories. Additionally, it can generalize to non-object dynamic concepts, such as waves crashing in the ocean, as demonstrated in our newly introduced benchmark for Referral Video Process Segmentation (Ref-VPS). Our experiments show that REM performs on par with state-of-the-art approaches on in-domain datasets, like Ref-DAVIS, while outperforming them by up to twelve points in terms of region similarity on out-of-domain data, leveraging the power of Internet-scale pre-training.