인간 동작 생성을 위한 움직임 없는 물리 최적화 프레임워크인 Morph: A Motion-free Physics Optimization Framework for Human Motion

Morph: A Motion-free Physics Optimization Framework for Human Motion Generation

November 22, 2024

저자: Zhuo Li, Mingshuang Luo, Ruibing Hou, Xin Zhao, Hao Liu, Hong Chang, Zimo Liu, Chen Li

cs.AI

초록

인간 동작 생성은 디지털 인간 및 인간형 로봇 제어와 같은 응용 프로그램에서 중요한 역할을 합니다. 그러나 대부분의 기존 접근 방식은 물리 제약 조건을 무시하여 물리적으로 불가능한 동작이 자주 발생하고 부유 및 발 미끄러짐과 같은 현저한 아티팩트를 유발합니다. 본 논문에서는 실제 움직임 데이터에 의존하지 않고 물리적 타당성을 향상시키기 위한 Morph라는 무동작 물리 최적화 프레임워크를 제안합니다. 구체적으로, 움직임 생성기는 대규모 합성 움직임 데이터를 제공하는 역할을 하며, 움직임 물리 정제 모듈은 이러한 합성 데이터를 활용하여 물리 시뮬레이터 내에서 움직임 모방자를 훈련시켜 노이즈가 있는 움직임을 물리적으로 타당한 공간으로 투영하기 위해 물리적 제약 조건을 강제합니다. 이러한 물리적으로 정제된 움직임은 다시 움직임 생성기를 세밀하게 조정하여 그 성능을 더욱 향상시킵니다. 텍스트-움직임 및 음악-댄스 생성 작업에 대한 실험 결과는 우리의 프레임워크가 최첨단 움직임 생성 품질을 달성하면서 물리적 타당성을 크게 향상시킨다는 것을 입증합니다.

English

Human motion generation plays a vital role in applications such as digital humans and humanoid robot control. However, most existing approaches disregard physics constraints, leading to the frequent production of physically implausible motions with pronounced artifacts such as floating and foot sliding. In this paper, we propose Morph, a Motion-free physics optimization framework, comprising a Motion Generator and a Motion Physics Refinement module, for enhancing physical plausibility without relying on costly real-world motion data. Specifically, the Motion Generator is responsible for providing large-scale synthetic motion data, while the Motion Physics Refinement Module utilizes these synthetic data to train a motion imitator within a physics simulator, enforcing physical constraints to project the noisy motions into a physically-plausible space. These physically refined motions, in turn, are used to fine-tune the Motion Generator, further enhancing its capability. Experiments on both text-to-motion and music-to-dance generation tasks demonstrate that our framework achieves state-of-the-art motion generation quality while improving physical plausibility drastically.