MangaNinja: Colorizzazione di Line Art con Seguimento Preciso dei Riferimenti.

MangaNinja: Line Art Colorization with Precise Reference Following

January 14, 2025

Autori: Zhiheng Liu, Ka Leong Cheng, Xi Chen, Jie Xiao, Hao Ouyang, Kai Zhu, Yu Liu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Abstract

Derivato dai modelli di diffusione, MangaNinjia si specializza nel compito della colorizzazione di disegni a linee guidata da riferimenti. Incorporiamo due progettazioni oculate per garantire una precisa trascrizione dei dettagli dei personaggi, tra cui un modulo di mescolamento delle patch per facilitare l'apprendimento della corrispondenza tra l'immagine a colori di riferimento e il disegno a linee di destinazione, e uno schema di controllo guidato dai punti per consentire un abbinamento dei colori dettagliato. Gli esperimenti su un benchmark auto-raccolto dimostrano la superiorità del nostro modello rispetto alle soluzioni attuali in termini di colorizzazione precisa. Mostriamo inoltre il potenziale del proposto controllo interattivo dei punti nel gestire casi difficili, colorizzazione tra personaggi, armonizzazione multi-riferimento, al di là della portata degli algoritmi esistenti.

English

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.