Dynamische Kamerapositionen und wo man sie findet

Dynamic Camera Poses and Where to Find Them

April 24, 2025

Autoren: Chris Rockwell, Joseph Tung, Tsung-Yi Lin, Ming-Yu Liu, David F. Fouhey, Chen-Hsuan Lin

cs.AI

Zusammenfassung

Die Annotation von Kameraposen in dynamischen Internetvideos in großem Maßstab ist entscheidend für die Weiterentwicklung von Bereichen wie der realistischen Videogenerierung und Simulation. Die Erstellung eines solchen Datensatzes ist jedoch schwierig, da die meisten Internetvideos für die Pose-Schätzung ungeeignet sind. Darüber hinaus stellt die Annotation dynamischer Internetvideos selbst für modernste Methoden erhebliche Herausforderungen dar. In diesem Artikel stellen wir DynPose-100K vor, einen groß angelegten Datensatz dynamischer Internetvideos, die mit Kameraposen annotiert sind. Unsere Erfassungspipeline adressiert die Filterung durch eine sorgfältig kombinierte Auswahl von aufgaben-spezifischen und allgemeinen Modellen. Für die Pose-Schätzung kombinieren wir die neuesten Techniken des Punkt-Trackings, der dynamischen Maskierung und der Struktur-aus-Bewegung, um Verbesserungen gegenüber den modernsten Ansätzen zu erzielen. Unsere Analysen und Experimente zeigen, dass DynPose-100K sowohl groß angelegt als auch in mehreren Schlüsselattributen vielfältig ist, wodurch neue Möglichkeiten für Fortschritte in verschiedenen nachgelagerten Anwendungen eröffnet werden.

English

Annotating camera poses on dynamic Internet videos at scale is critical for advancing fields like realistic video generation and simulation. However, collecting such a dataset is difficult, as most Internet videos are unsuitable for pose estimation. Furthermore, annotating dynamic Internet videos present significant challenges even for state-of-theart methods. In this paper, we introduce DynPose-100K, a large-scale dataset of dynamic Internet videos annotated with camera poses. Our collection pipeline addresses filtering using a carefully combined set of task-specific and generalist models. For pose estimation, we combine the latest techniques of point tracking, dynamic masking, and structure-from-motion to achieve improvements over the state-of-the-art approaches. Our analysis and experiments demonstrate that DynPose-100K is both large-scale and diverse across several key attributes, opening up avenues for advancements in various downstream applications.