AniDoc: 애니메이션 제작이 더 쉬워졌습니다.

AniDoc: Animation Creation Made Easier

December 18, 2024

저자: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

초록

2D 애니메이션 제작은 캐릭터 디자인, 키프레임 애니메이션, 중간 프레임 생성 및 색칠이라는 네 가지 필수 단계를 포함하는 산업 표준 워크플로우를 따릅니다. 저희 연구는 점점 강력해지는 생성 AI의 잠재력을 활용하여 상기 과정에서의 노동 비용을 줄이는 데 초점을 맞추고 있습니다. 비디오 확산 모델을 기반으로 AniDoc은 비디오 선 아트 색칠 도구로 나타나며, 스케치 시퀀스를 자동으로 색칠된 애니메이션으로 변환하여 참조 캐릭터 사양을 따릅니다. 저희 모델은 명시적인 가이드로서 일치 매칭을 활용하여, 참조 캐릭터와 각 선 아트 프레임 사이의 변형(예: 자세)에 대한 강력한 견고성을 제공합니다. 게다가, 저희 모델은 중간 프레임 생성 과정까지 자동화할 수 있어 사용자가 캐릭터 이미지와 시작 및 끝 스케치를 제공하기만 하면 시간적으로 일관된 애니메이션을 쉽게 만들 수 있습니다. 저희 코드는 다음에서 확인할 수 있습니다: https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.