Positions dynamiques de caméra et où les trouver

Dynamic Camera Poses and Where to Find Them

April 24, 2025

Auteurs: Chris Rockwell, Joseph Tung, Tsung-Yi Lin, Ming-Yu Liu, David F. Fouhey, Chen-Hsuan Lin

cs.AI

Résumé

L'annotation des poses de caméra dans les vidéos dynamiques sur Internet à grande échelle est cruciale pour faire progresser des domaines tels que la génération de vidéos réalistes et la simulation. Cependant, la collecte d'un tel ensemble de données est difficile, car la plupart des vidéos sur Internet ne sont pas adaptées à l'estimation de pose. De plus, l'annotation de vidéos dynamiques sur Internet présente des défis importants, même pour les méthodes les plus avancées. Dans cet article, nous présentons DynPose-100K, un ensemble de données à grande échelle de vidéos dynamiques sur Internet annotées avec des poses de caméra. Notre pipeline de collecte aborde le filtrage en utilisant un ensemble soigneusement combiné de modèles spécifiques à la tâche et généralistes. Pour l'estimation de pose, nous combinons les dernières techniques de suivi de points, de masquage dynamique et de structure à partir du mouvement pour obtenir des améliorations par rapport aux approches les plus récentes. Notre analyse et nos expériences démontrent que DynPose-100K est à la fois à grande échelle et diversifié selon plusieurs attributs clés, ouvrant des perspectives pour des avancées dans diverses applications en aval.

English

Annotating camera poses on dynamic Internet videos at scale is critical for advancing fields like realistic video generation and simulation. However, collecting such a dataset is difficult, as most Internet videos are unsuitable for pose estimation. Furthermore, annotating dynamic Internet videos present significant challenges even for state-of-theart methods. In this paper, we introduce DynPose-100K, a large-scale dataset of dynamic Internet videos annotated with camera poses. Our collection pipeline addresses filtering using a carefully combined set of task-specific and generalist models. For pose estimation, we combine the latest techniques of point tracking, dynamic masking, and structure-from-motion to achieve improvements over the state-of-the-art approaches. Our analysis and experiments demonstrate that DynPose-100K is both large-scale and diverse across several key attributes, opening up avenues for advancements in various downstream applications.