CoMotion: Gelijktijdige 3D-beweging van meerdere personen

CoMotion: Concurrent Multi-person 3D Motion

April 16, 2025

Auteurs: Alejandro Newell, Peiyun Hu, Lahav Lipson, Stephan R. Richter, Vladlen Koltun

cs.AI

Samenvatting

We introduceren een aanpak voor het detecteren en volgen van gedetailleerde 3D-posities van meerdere personen vanuit een enkele monocular camerastroom. Ons systeem behoudt temporeel coherente voorspellingen in drukke scènes met complexe poses en occlusies. Ons model voert zowel een sterke per-frame detectie uit als een geleerde pose-update om personen van frame tot frame te volgen. In plaats van detecties over tijd te matchen, worden poses direct bijgewerkt vanuit een nieuw invoerbeeld, wat online tracking door occlusie mogelijk maakt. We trainen op talrijke beeld- en videodatasets met behulp van pseudo-gelabelde annotaties om een model te produceren dat de state-of-the-art systemen evenaart in nauwkeurigheid van 3D-pose-schatting, terwijl het sneller en nauwkeuriger is in het volgen van meerdere personen door de tijd heen. Code en gewichten zijn beschikbaar op https://github.com/apple/ml-comotion.

English

We introduce an approach for detecting and tracking detailed 3D poses of multiple people from a single monocular camera stream. Our system maintains temporally coherent predictions in crowded scenes filled with difficult poses and occlusions. Our model performs both strong per-frame detection and a learned pose update to track people from frame to frame. Rather than match detections across time, poses are updated directly from a new input image, which enables online tracking through occlusion. We train on numerous image and video datasets leveraging pseudo-labeled annotations to produce a model that matches state-of-the-art systems in 3D pose estimation accuracy while being faster and more accurate in tracking multiple people through time. Code and weights are provided at https://github.com/apple/ml-comotion