MangaNinja: Колоризация линейного рисунка с точным следованием эталону.

MangaNinja: Line Art Colorization with Precise Reference Following

January 14, 2025

Авторы: Zhiheng Liu, Ka Leong Cheng, Xi Chen, Jie Xiao, Hao Ouyang, Kai Zhu, Yu Liu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Аннотация

Получивший развитие из моделей диффузии, MangaNinjia специализируется на задаче колоризации линейного искусства с использованием ссылок. Мы внедрили два продуманных дизайна для обеспечения точной транскрипции деталей персонажа, включая модуль перетасовки патчей для облегчения обучения соответствию между цветным изображением-образцом и целевым линейным искусством, а также схему управления на основе точек для обеспечения точного сопоставления цветов. Эксперименты на самостоятельно собранном бенчмарке продемонстрировали превосходство нашей модели над текущими решениями в части точной колоризации. Мы также показали потенциал предложенного интерактивного управления точками в решении сложных случаев, колоризации между персонажами, гармонизации с несколькими источниками, выходящих за рамки существующих алгоритмов.

English

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.