AniDoc: Creazione di Animazioni Resa Più Semplice

AniDoc: Animation Creation Made Easier

December 18, 2024

Autori: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

Abstract

La produzione di animazioni 2D segue un flusso di lavoro standard del settore, che comprende quattro fasi essenziali: progettazione dei personaggi, animazione chiave, interposizione e colorazione. La nostra ricerca si concentra sulla riduzione dei costi di manodopera nel processo sopra menzionato sfruttando il potenziale sempre più potente dell'intelligenza artificiale generativa. Utilizzando modelli di diffusione video come base, AniDoc emerge come uno strumento di colorazione di disegni a linee video, che converte automaticamente sequenze di schizzi in animazioni colorate seguendo le specifiche del personaggio di riferimento. Il nostro modello sfrutta il matching di corrispondenza come guida esplicita, garantendo una forte robustezza alle variazioni (ad esempio, postura) tra il personaggio di riferimento e ciascun frame di disegno a linee. Inoltre, il nostro modello potrebbe addirittura automatizzare il processo di interposizione, consentendo agli utenti di creare facilmente un'animazione temporalmente coerente fornendo semplicemente un'immagine del personaggio e gli schizzi iniziali e finali. Il nostro codice è disponibile su: https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.