MangaNinja: Colorização de Arte de Linha com Seguimento Preciso de Referência

MangaNinja: Line Art Colorization with Precise Reference Following

January 14, 2025

Autores: Zhiheng Liu, Ka Leong Cheng, Xi Chen, Jie Xiao, Hao Ouyang, Kai Zhu, Yu Liu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Resumo

Derivado de modelos de difusão, o MangaNinjia especializa-se na tarefa de colorização de arte de linha guiada por referência. Incorporamos dois projetos cuidadosos para garantir a transcrição precisa de detalhes de personagens, incluindo um módulo de embaralhamento de patches para facilitar a aprendizagem de correspondência entre a imagem de cor de referência e a arte de linha alvo, e um esquema de controle orientado por pontos para permitir o ajuste de cores detalhado. Experimentos em um benchmark auto-coletado demonstram a superioridade de nosso modelo em relação às soluções atuais em termos de colorização precisa. Mostramos ainda o potencial do proposto controle interativo de pontos no tratamento de casos desafiadores, colorização entre personagens, harmonização multi-referência, além do alcance dos algoritmos existentes.

English

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.