한 글자 그림에서의 3D 애니메이션: DrawingSpinUp

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

저자: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

초록

다양한 캐릭터 드로잉을 애니메이션화하는 것은 매력적인 시각적 콘텐츠 작업입니다. 단일 캐릭터 드로잉을 고려할 때, 기존의 애니메이션 방법은 평면 2D 동작에 제한되어 3D 효과가 부족합니다. 대안적인 해결책은 캐릭터 드로잉으로부터 3D 모델을 대리로 재구성한 다음 3D 동작 데이터를 이에 다시 할당하는 것입니다. 그러나 기존의 이미지-3D 방법은 외모와 기하학적 측면에서 아마추어 캐릭터 드로잉에 대해 잘 작동하지 않았습니다. 우리는 캐릭터 드로잉에서 흔히 나타나는 윤곽선이 텍스처 합성에서 그들의 시점 의존성으로 인해 상당한 모호성을 도입할 것이라고 관찰했습니다. 게다가, 단일 선 윤곽으로 표현된 얇은 영역(예: 막대 모양의 팔다리)은 그들의 섬세한 구조 때문에 재구성하기 어렵습니다. 이러한 문제를 해결하기 위해 우리는 DrawingSpinUp이라는 새로운 시스템을 제안하여 가능성 있는 3D 애니메이션을 생성하고 캐릭터 드로잉에 생명을 불어넣어 자유롭게 회전하고 뛰어오르며 힙합 댄스까지 수행할 수 있도록 합니다. 외모 개선을 위해, 우리는 뷰-의존적 윤곽선을 먼저 제거한 다음 재구성된 캐릭터에 다시 렌더링하는 전략을 채택합니다. 기하학적 정제를 위해, 우리는 단일 선 윤곽으로 표현된 얇은 구조물을 정제하기 위한 스켈레톤 기반 얇게 만드는 변형 알고리즘을 개발합니다. 실험적 평가 및 지각적 사용자 연구 결과, 우리의 제안된 방법이 기존의 2D 및 3D 애니메이션 방법을 능가하며 단일 캐릭터 드로잉으로부터 고품질 3D 애니메이션을 생성한다는 것을 보여줍니다. 코드 및 생성된 애니메이션에 대해서는 저희 프로젝트 페이지(https://lordliang.github.io/DrawingSpinUp)를 참조해주시기 바랍니다.

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.