소음은 확산 가이드가 가치가 있다.

초록

확산 모델은 고품질 이미지를 생성하는 데 뛰어납니다. 그러나 현재의 확산 모델은 분류기 없는 가이드 (CFG)와 같은 가이드 방법 없이 신뢰할 수 있는 이미지를 생성하는 데 어려움을 겪습니다. 가이드 방법이 정말 필요한가요? 확산 역전으로 얻은 잡음이 가이드 없이도 고품질 이미지를 재구성할 수 있음을 관찰하면서, 우리는 노이즈 제거 파이프라인의 초기 노이즈에 초점을 맞춥니다. 가우시안 노이즈를 '가이드 없는 노이즈'로 매핑함으로써, 작은 저진폭 저주파수 구성 요소가 노이즈 제거 과정을 크게 향상시키고, 가이드의 필요성을 제거하고 추론 처리량과 메모리를 향상시킵니다. 이를 확장하여, 우리는 가이드 방법을 초기 노이즈의 단일 세밀 조정으로 대체하는 혁신적인 방법인 \ours를 제안합니다. 이 세밀 조정된 노이즈는 가이드 없이도 고품질 이미지 생성을 가능하게 하며, 동일한 확산 파이프라인 내에서 작동합니다. 우리의 노이즈 세밀화 모델은 효율적인 노이즈 공간 학습을 활용하여, 단 50K 개의 텍스트-이미지 쌍으로 빠른 수렴과 강력한 성능을 달성합니다. 우리는 다양한 메트릭을 통해 그 효과를 검증하고, 세밀화된 노이즈가 가이드의 필요성을 제거하는 방법을 분석합니다. 프로젝트 페이지를 확인하세요: https://cvlab-kaist.github.io/NoiseRefine/.

English

Diffusion models excel in generating high-quality images. However, current diffusion models struggle to produce reliable images without guidance methods, such as classifier-free guidance (CFG). Are guidance methods truly necessary? Observing that noise obtained via diffusion inversion can reconstruct high-quality images without guidance, we focus on the initial noise of the denoising pipeline. By mapping Gaussian noise to `guidance-free noise', we uncover that small low-magnitude low-frequency components significantly enhance the denoising process, removing the need for guidance and thus improving both inference throughput and memory. Expanding on this, we propose \ours, a novel method that replaces guidance methods with a single refinement of the initial noise. This refined noise enables high-quality image generation without guidance, within the same diffusion pipeline. Our noise-refining model leverages efficient noise-space learning, achieving rapid convergence and strong performance with just 50K text-image pairs. We validate its effectiveness across diverse metrics and analyze how refined noise can eliminate the need for guidance. See our project page: https://cvlab-kaist.github.io/NoiseRefine/.

소음은 확산 가이드가 가치가 있다.

A Noise is Worth Diffusion Guidance

초록

Summary

Support