Selbstüberwachtes Lernen von Bewegungsbegriffen durch Optimierung von Kontrafaktischen

Self-Supervised Learning of Motion Concepts by Optimizing Counterfactuals

March 25, 2025

Autoren: Stefan Stojanov, David Wendt, Seungwoo Kim, Rahul Venkatesh, Kevin Feigelis, Jiajun Wu, Daniel LK Yamins

cs.AI

Zusammenfassung

Die Schätzung von Bewegung in Videos ist ein grundlegendes Problem der Computer Vision mit zahlreichen nachgelagerten Anwendungen, einschließlich kontrollierbarer Videogenerierung und Robotik. Aktuelle Lösungen werden hauptsächlich mit synthetischen Daten trainiert oder erfordern die Anpassung situationsspezifischer Heuristiken, was die Fähigkeiten dieser Modelle in realen Kontexten von Natur aus einschränkt. Trotz jüngster Fortschritte im groß angelegten, selbstüberwachten Lernen aus Videos bleibt die Nutzung solcher Repräsentationen für die Bewegungsschätzung relativ unerforscht. In dieser Arbeit entwickeln wir Opt-CWM, eine selbstüberwachte Technik zur Schätzung von Fluss und Okklusion aus einem vortrainierten Modell zur Vorhersage des nächsten Bildes. Opt-CWM funktioniert, indem es lernt, kontrafaktische Sonden zu optimieren, die Bewegungsinformationen aus einem Basis-Videomodell extrahieren, wodurch der Bedarf an festen Heuristiken vermieden wird, während es auf uneingeschränkten Videoeingaben trainiert wird. Wir erreichen state-of-the-art Leistung bei der Bewegungsschätzung in realen Videos, ohne dabei auf annotierte Daten angewiesen zu sein.

English

Estimating motion in videos is an essential computer vision problem with many downstream applications, including controllable video generation and robotics. Current solutions are primarily trained using synthetic data or require tuning of situation-specific heuristics, which inherently limits these models' capabilities in real-world contexts. Despite recent developments in large-scale self-supervised learning from videos, leveraging such representations for motion estimation remains relatively underexplored. In this work, we develop Opt-CWM, a self-supervised technique for flow and occlusion estimation from a pre-trained next-frame prediction model. Opt-CWM works by learning to optimize counterfactual probes that extract motion information from a base video model, avoiding the need for fixed heuristics while training on unrestricted video inputs. We achieve state-of-the-art performance for motion estimation on real-world videos while requiring no labeled data.