매직아티큘레이트: 3D 모델을 관절 구조에 맞게 만들어보세요

MagicArticulate: Make Your 3D Models Articulation-Ready

February 17, 2025

저자: Chaoyue Song, Jianfeng Zhang, Xiu Li, Fan Yang, Yiwen Chen, Zhongcong Xu, Jun Hao Liew, Xiaoyang Guo, Fayao Liu, Jiashi Feng, Guosheng Lin

cs.AI

초록

3D 콘텐츠 생성의 폭발적인 성장으로 정적 3D 모델을 현실적인 애니메이션을 지원하는 관절 준비 버전으로 자동으로 변환하는 수요가 증가하고 있습니다. 기존 방법은 주로 수동 주석에 의존하여 시간이 많이 소요되고 노동 집약적입니다. 더구나 대규모 벤치마크의 부재로 학습 기반 솔루션의 개발이 제약되어 왔습니다. 본 연구에서는 MagicArticulate를 제시하여 정적 3D 모델을 관절 준비 자산으로 자동으로 변환하는 효과적인 프레임워크를 소개합니다. 우리의 주요 기여는 세 가지입니다. 첫째, Objaverse-XL에서 세심하게 선별된 고품질 관절 주석이 포함된 33k개 이상의 3D 모델을 포함하는 대규모 벤치마크인 Articulation-XL을 소개합니다. 둘째, 시퀀스 모델링 문제로 작업을 공식화하는 새로운 스켈레톤 생성 방법을 제안하여, 자동 회귀 트랜스포머를 활용하여 스켈레톤 내의 뼈나 관절의 수와 서로 다른 3D 모델 간의 고유한 종속성을 자연스럽게 처리합니다. 셋째, 첨부되어 있는 부피 기하 거리 우선순위를 이용하여 정점과 관절 사이의 볼륨 기하 거리 사전을 포함하는 기능 확산 프로세스를 사용하여 스키닝 가중치를 예측합니다. 방대한 실험 결과, MagicArticulate가 다양한 객체 범주에서 기존 방법을 크게 능가하며 현실적인 애니메이션을 가능케 하는 고품질 관절을 달성함을 보여줍니다. 프로젝트 페이지: https://chaoyuesong.github.io/MagicArticulate.

English

With the explosive growth of 3D content creation, there is an increasing demand for automatically converting static 3D models into articulation-ready versions that support realistic animation. Traditional approaches rely heavily on manual annotation, which is both time-consuming and labor-intensive. Moreover, the lack of large-scale benchmarks has hindered the development of learning-based solutions. In this work, we present MagicArticulate, an effective framework that automatically transforms static 3D models into articulation-ready assets. Our key contributions are threefold. First, we introduce Articulation-XL, a large-scale benchmark containing over 33k 3D models with high-quality articulation annotations, carefully curated from Objaverse-XL. Second, we propose a novel skeleton generation method that formulates the task as a sequence modeling problem, leveraging an auto-regressive transformer to naturally handle varying numbers of bones or joints within skeletons and their inherent dependencies across different 3D models. Third, we predict skinning weights using a functional diffusion process that incorporates volumetric geodesic distance priors between vertices and joints. Extensive experiments demonstrate that MagicArticulate significantly outperforms existing methods across diverse object categories, achieving high-quality articulation that enables realistic animation. Project page: https://chaoyuesong.github.io/MagicArticulate.