AniDoc: Criação de Animação Simplificada

AniDoc: Animation Creation Made Easier

December 18, 2024

Autores: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

Resumo

A produção de animação 2D segue um fluxo de trabalho padrão da indústria, abrangendo quatro etapas essenciais: design de personagens, animação de quadros-chave, interpolação e coloração. Nossa pesquisa concentra-se em reduzir os custos trabalhistas no processo acima, aproveitando o potencial de inteligência artificial generativa cada vez mais poderosa. Usando modelos de difusão de vídeo como base, AniDoc surge como uma ferramenta de colorização de arte de linha de vídeo, que converte automaticamente sequências de esboços em animações coloridas seguindo a especificação do personagem de referência. Nosso modelo explora a correspondência como orientação explícita, proporcionando uma grande robustez às variações (por exemplo, postura) entre o personagem de referência e cada quadro de arte de linha. Além disso, nosso modelo poderia até automatizar o processo de interpolação, de modo que os usuários possam facilmente criar uma animação temporalmente consistente simplesmente fornecendo uma imagem de personagem, bem como os esboços inicial e final. Nosso código está disponível em: https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.