ColorFlow: Colorizzazione di sequenze di immagini potenziata dal recupero

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

Autori: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

Abstract

La colorizzazione automatica di sequenze di immagini in bianco e nero preservando l'identità dei personaggi e degli oggetti è un compito complesso con una significativa domanda di mercato, come nel caso della colorizzazione di serie animate o fumetti. Nonostante i progressi nella colorizzazione visiva utilizzando modelli generativi su larga scala come i modelli di diffusione, persistono sfide legate alla controllabilità e alla coerenza dell'identità, rendendo le attuali soluzioni inadatte per l'applicazione industriale. Per affrontare questo problema, proponiamo ColorFlow, un framework basato su diffusione a tre fasi progettato per la colorizzazione di sequenze di immagini in applicazioni industriali. A differenza dei metodi esistenti che richiedono un raffinamento per ID o l'estrazione esplicita dell'incorporamento dell'ID, proponiamo un nuovo e robusto pipeline di colorizzazione potenziato da recupero per colorizzare immagini con riferimenti cromatici pertinenti. Il nostro pipeline presenta anche un design a doppio ramo: un ramo per l'estrazione dell'identità cromatica e l'altro per la colorizzazione, sfruttando i punti di forza dei modelli di diffusione. Utilizziamo il meccanismo di auto-attenzione nei modelli di diffusione per un forte apprendimento contestuale e il matching dell'identità cromatica. Per valutare il nostro modello, introduciamo ColorFlow-Bench, un benchmark completo per la colorizzazione basata su riferimenti. I risultati mostrano che ColorFlow supera i modelli esistenti su più metriche, stabilendo un nuovo standard nella colorizzazione sequenziale di immagini e potenzialmente apportando benefici all'industria artistica. Rilasciamo i nostri codici e modelli sulla nostra pagina del progetto: https://zhuang2002.github.io/ColorFlow/.

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.