Dynamische cameraposities en waar ze te vinden zijn

Dynamic Camera Poses and Where to Find Them

April 24, 2025

Auteurs: Chris Rockwell, Joseph Tung, Tsung-Yi Lin, Ming-Yu Liu, David F. Fouhey, Chen-Hsuan Lin

cs.AI

Samenvatting

Het annoteren van cameraposities in dynamische internetvideo's op grote schaal is cruciaal voor het bevorderen van vakgebieden zoals realistische videogeneratie en simulatie. Het verzamelen van een dergelijke dataset is echter moeilijk, aangezien de meeste internetvideo's niet geschikt zijn voor pose-estimatie. Bovendien vormen het annoteren van dynamische internetvideo's aanzienlijke uitdagingen, zelfs voor state-of-the-art methoden. In dit artikel introduceren we DynPose-100K, een grootschalige dataset van dynamische internetvideo's die zijn geannoteerd met cameraposities. Onze verzamelpipeline richt zich op filtering met behulp van een zorgvuldig gecombineerde set van taakspecifieke en generalistische modellen. Voor pose-estimatie combineren we de nieuwste technieken van punt-tracking, dynamische masking en structure-from-motion om verbeteringen te bereiken ten opzichte van de state-of-the-art benaderingen. Onze analyse en experimenten tonen aan dat DynPose-100K zowel grootschalig als divers is op verschillende belangrijke kenmerken, wat mogelijkheden biedt voor vooruitgang in diverse downstream toepassingen.

English

Annotating camera poses on dynamic Internet videos at scale is critical for advancing fields like realistic video generation and simulation. However, collecting such a dataset is difficult, as most Internet videos are unsuitable for pose estimation. Furthermore, annotating dynamic Internet videos present significant challenges even for state-of-theart methods. In this paper, we introduce DynPose-100K, a large-scale dataset of dynamic Internet videos annotated with camera poses. Our collection pipeline addresses filtering using a carefully combined set of task-specific and generalist models. For pose estimation, we combine the latest techniques of point tracking, dynamic masking, and structure-from-motion to achieve improvements over the state-of-the-art approaches. Our analysis and experiments demonstrate that DynPose-100K is both large-scale and diverse across several key attributes, opening up avenues for advancements in various downstream applications.