ColorFlow: 검색 보강 이미지 시퀀스 색칠

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

저자: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

초록

문자와 물체 식별(ID)을 보존하면서 흑백 이미지 순차 색칠을 자동으로 수행하는 것은 만화 또는 만화 시리즈 색칠과 같은 중요한 시장 수요가 있는 복잡한 작업입니다. 확산 모델과 같은 대규모 생성 모델을 사용한 시각적 색칠의 발전에도 불구하고, 조절 가능성과 식별 일관성과 같은 문제가 지속되어 현재의 해결책이 산업 응용에 부적합합니다. 이를 해결하기 위해 우리는 산업 응용에 맞춘 세 단계 확산 기반 프레임워크인 ColorFlow를 제안합니다. ID별 세부 조정이나 명시적 ID 임베딩 추출이 필요한 기존 방법과 달리, 관련 색상 참조를 사용하여 이미지 순차 색칠에 대한 강력하고 일반화된 검색 증강 색칠 파이프라인을 제안합니다. 우리의 파이프라인은 또한 색상 식별 추출을 위한 하나의 브랜치와 색칠을 위한 다른 브랜치를 갖는 이중 브랜치 설계를 특징으로 하며, 확산 모델의 장점을 활용합니다. 우리는 확산 모델의 자기 주의 메커니즘을 사용하여 강력한 문맥 학습과 색상 식별 일치를 이루었습니다. 우리의 모델을 평가하기 위해 참조 기반 색칠을 위한 포괄적인 벤치마크인 ColorFlow-Bench를 소개했습니다. 결과는 ColorFlow가 다양한 메트릭을 통해 기존 모델을 능가하며, 순차 이미지 색칠의 새로운 표준을 설정하고 예술 산업에 혜택을 줄 수 있는 가능성을 보여줍니다. 우리의 코드와 모델은 프로젝트 페이지 https://zhuang2002.github.io/ColorFlow/에서 공개되어 있습니다.

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.