Ricostruire gli esseri umani con uno scheletro biomeccanicamente accurato

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

Autori: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

Abstract

In questo articolo, presentiamo un metodo per ricostruire esseri umani in 3D da una singola immagine utilizzando un modello scheletrico biomeccanicamente accurato. Per raggiungere questo obiettivo, addestriamo un transformer che prende un'immagine come input e stima i parametri del modello. A causa della mancanza di dati di addestramento per questo compito, costruiamo una pipeline per produrre parametri di modello pseudo ground truth per immagini singole e implementiamo una procedura di addestramento che affina iterativamente queste etichette pseudo. Rispetto ai metodi all'avanguardia per il recupero di mesh umane in 3D, il nostro modello raggiunge prestazioni competitive su benchmark standard, mentre li supera significativamente in contesti con pose e punti di vista 3D estremi. Inoltre, dimostriamo che i precedenti metodi di ricostruzione violano frequentemente i limiti degli angoli articolari, portando a rotazioni innaturali. Al contrario, il nostro approccio sfrutta i gradi di libertà biomeccanicamente plausibili, ottenendo stime di rotazione articolare più realistiche. Validiamo il nostro approccio su più benchmark di stima della posa umana. Rendiamo disponibili il codice, i modelli e i dati all'indirizzo: https://isshikihugh.github.io/HSMR/

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/