분류자 없는 지침 없이도 동작하는 확산 모델

Diffusion Models without Classifier-free Guidance

February 17, 2025

저자: Zhicong Tang, Jianmin Bao, Dong Chen, Baining Guo

cs.AI

초록

본 논문은 확산 모델(diffusion model) 훈련을 위한 새로운 목적 함수인 Model-guidance(MG)를 제안하며, 이는 널리 사용되던 Classifier-free guidance(CFG)를 대체하고 제거합니다. 우리의 혁신적인 접근법은 단순히 데이터 분포를 모델링하는 표준 방식을 넘어 조건부 사후 확률을 통합합니다. 제안된 기법은 CFG의 아이디어에서 출발하였으며, 간단하면서도 효과적이어서 기존 모델에 플러그 앤 플레이 방식으로 쉽게 적용할 수 있습니다. 우리의 방법은 훈련 과정을 크게 가속화하고, 추론 속도를 두 배로 향상시키며, CFG를 사용한 동시대의 확산 모델들과 견줄 만하거나 이를 능가하는 우수한 품질을 달성합니다. 다양한 모델과 데이터셋에 대한 광범위한 실험을 통해 이 방법의 효과성, 효율성, 확장성을 입증하였습니다. 마지막으로, 우리는 ImageNet 256 벤치마크에서 FID 1.34라는 최첨단 성능을 달성하였습니다. 코드는 https://github.com/tzco/Diffusion-wo-CFG에서 확인할 수 있습니다.

English

This paper presents Model-guidance (MG), a novel objective for training diffusion model that addresses and removes of the commonly used Classifier-free guidance (CFG). Our innovative approach transcends the standard modeling of solely data distribution to incorporating the posterior probability of conditions. The proposed technique originates from the idea of CFG and is easy yet effective, making it a plug-and-play module for existing models. Our method significantly accelerates the training process, doubles the inference speed, and achieve exceptional quality that parallel and even surpass concurrent diffusion models with CFG. Extensive experiments demonstrate the effectiveness, efficiency, scalability on different models and datasets. Finally, we establish state-of-the-art performance on ImageNet 256 benchmarks with an FID of 1.34. Our code is available at https://github.com/tzco/Diffusion-wo-CFG.