ETCH: Verallgemeinerung der Körperanpassung auf bekleidete Menschen durch äquivariante Enge

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

Autoren: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

Zusammenfassung

Die Anpassung eines Körpers an eine 3D-Punktwolke eines bekleideten Menschen ist eine häufige, aber anspruchsvolle Aufgabe. Traditionelle optimierungsbasierte Ansätze verwenden mehrstufige Pipelines, die empfindlich auf die Pose-Initialisierung reagieren, während neuere lernbasierte Methoden oft Schwierigkeiten mit der Generalisierung über verschiedene Posen und Kleidungstypen haben. Wir schlagen Equivariant Tightness Fitting for Clothed Humans, oder ETCH, vor, eine neuartige Pipeline, die die Abbildung von Kleidung auf die Körperoberfläche durch lokal approximierte SE(3)-Äquivarianz schätzt und die Enge als Verschiebungsvektoren von der Kleidungsoberfläche zum darunterliegenden Körper kodiert. Basierend auf dieser Abbildung regressieren pose-invariante Körpermerkmale spärliche Körpermarker, wodurch die Anpassung eines bekleideten Menschen in eine Aufgabe der Anpassung innerer Körpermarker vereinfacht wird. Umfangreiche Experimente auf CAPE und 4D-Dress zeigen, dass ETCH sowohl enge-unabhängige als auch enge-bewusste Methoden in Bezug auf die Genauigkeit der Körperanpassung bei lockerer Kleidung (16,7 % ~ 69,5 %) und Formgenauigkeit (durchschnittlich 49,9 %) deutlich übertrifft. Unser äquivariantes Enge-Design kann sogar Richtungsfehler in One-Shot- (oder Out-of-Distribution-)Szenarien um (67,2 % ~ 89,8 %) reduzieren. Qualitative Ergebnisse demonstrieren eine starke Generalisierung von ETCH, unabhängig von herausfordernden Posen, unbekannten Formen, lockerer Kleidung und nicht-starren Dynamiken. Wir werden den Code und die Modelle bald zu Forschungszwecken unter https://boqian-li.github.io/ETCH/ veröffentlichen.

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.