DressRecon: 단안 비디오로부터의 자유형식 4D 인간 재구성

DressRecon: Freeform 4D Human Reconstruction from Monocular Video

September 30, 2024

저자: Jeff Tan, Donglai Xiang, Shubham Tulsiani, Deva Ramanan, Gengshan Yang

cs.AI

초록

우리는 단안 동영상으로부터 시간 일관성 있는 인간 신체 모델을 재구성하는 방법을 제시합니다. 이 방법은 극도로 헐거운 의류나 손에 든 물체와의 상호작용에 초점을 맞춥니다. 이전의 인간 재구성 연구는 주로 물체와의 상호작용이 없는 타이트한 의류에 한정되어 있거나 보정된 다중 뷰 촬영이나 대규모로 수집하기 어려운 개인화된 템플릿 스캔이 필요합니다. 우리의 고품질이면서 유연한 재구성을 위한 핵심 아이디어는 대규모 훈련 데이터로부터 학습된 관절 신체 형태에 관한 일반적인 인간 사전과 동영상별 관절 "뼈 가방" 변형을 조심스럽게 결합하는 것입니다(테스트 시 최적화를 통해 단일 동영상에 맞게 맞춤). 이를 위해 우리는 신경 암시적 모델을 학습하여 별도의 동작 모델 계층으로 신체와 의류 변형을 분리합니다. 의류의 섬세한 기하학을 캡처하기 위해 최적화 중에 인간 신체 자세, 표면 법선 및 광학 흐름과 같은 이미지 기반 사전을 활용합니다. 결과적으로 얻어지는 신경장은 시간 일관성 있는 메쉬로 추출되거나 고품질 대화형 렌더링을 위해 명시적 3D 가우시안으로 더 최적화될 수 있습니다. 매우 어려운 의류 변형과 물체 상호작용이 있는 데이터셋에서, DressRecon은 이전 연구보다 더 높은 품질의 3D 재구성을 제공합니다. 프로젝트 페이지: https://jefftan969.github.io/dressrecon/

English

We present a method to reconstruct time-consistent human body models from monocular videos, focusing on extremely loose clothing or handheld object interactions. Prior work in human reconstruction is either limited to tight clothing with no object interactions, or requires calibrated multi-view captures or personalized template scans which are costly to collect at scale. Our key insight for high-quality yet flexible reconstruction is the careful combination of generic human priors about articulated body shape (learned from large-scale training data) with video-specific articulated "bag-of-bones" deformation (fit to a single video via test-time optimization). We accomplish this by learning a neural implicit model that disentangles body versus clothing deformations as separate motion model layers. To capture subtle geometry of clothing, we leverage image-based priors such as human body pose, surface normals, and optical flow during optimization. The resulting neural fields can be extracted into time-consistent meshes, or further optimized as explicit 3D Gaussians for high-fidelity interactive rendering. On datasets with highly challenging clothing deformations and object interactions, DressRecon yields higher-fidelity 3D reconstructions than prior art. Project page: https://jefftan969.github.io/dressrecon/