MangaNinja: Linienkunst-Kolorierung mit präziser Referenzverfolgung

MangaNinja: Line Art Colorization with Precise Reference Following

January 14, 2025

Autoren: Zhiheng Liu, Ka Leong Cheng, Xi Chen, Jie Xiao, Hao Ouyang, Kai Zhu, Yu Liu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Zusammenfassung

Abgeleitet von Diffusionsmodellen, spezialisiert sich MangaNinjia auf die Aufgabe der referenzgesteuerten Kolorierung von Linienkunst. Wir integrieren zwei durchdachte Designs, um eine präzise Übertragung von Charakterdetails sicherzustellen, darunter ein Patch-Shuffling-Modul zur Erleichterung des Lernens von Entsprechungen zwischen dem Referenzfarbbild und der Ziel-Linienkunst sowie ein punktgesteuertes Steuerschema zur Ermöglichung einer feinkörnigen Farbanpassung. Experimente an einem selbst gesammelten Benchmark zeigen die Überlegenheit unseres Modells gegenüber aktuellen Lösungen in Bezug auf präzise Kolorierung. Wir präsentieren außerdem das Potenzial der vorgeschlagenen interaktiven Punktsteuerung bei der Bewältigung anspruchsvoller Fälle, der künstlerischen Kolorierung von Charakteren, der Harmonisierung mit mehreren Referenzen, jenseits der Reichweite bestehender Algorithmen.

English

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.