I Priori Incondizionati Contano! Migliorare la Generazione Condizionata nei Modelli di Diffusione Fine-Tunati

Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

March 26, 2025

Autori: Prin Phunyaphibarn, Phillip Y. Lee, Jaihoon Kim, Minhyuk Sung

cs.AI

Abstract

Il Classifier-Free Guidance (CFG) è una tecnica fondamentale nell'addestramento di modelli di diffusione condizionata. La pratica comune per l'addestramento basato su CFG consiste nell'utilizzare una singola rete per apprendere sia la previsione del rumore condizionato che quella non condizionata, con un tasso di dropout ridotto per il condizionamento. Tuttavia, osserviamo che l'apprendimento congiunto del rumore non condizionato con una larghezza di banda limitata durante l'addestramento porta a prior scadenti per il caso non condizionato. Ancora più importante, queste previsioni scadenti del rumore non condizionato diventano una seria ragione per il degrado della qualità della generazione condizionata. Ispirati dal fatto che la maggior parte dei modelli condizionati basati su CFG vengono addestrati tramite fine-tuning di un modello base con una migliore generazione non condizionata, dimostriamo innanzitutto che semplicemente sostituendo il rumore non condizionato nel CFG con quello previsto dal modello base si può migliorare significativamente la generazione condizionata. Inoltre, mostriamo che un modello di diffusione diverso da quello su cui è stato addestrato il modello fine-tuned può essere utilizzato per la sostituzione del rumore non condizionato. Verifichiamo sperimentalmente la nostra affermazione con una gamma di modelli condizionati basati su CFG per la generazione di immagini e video, tra cui Zero-1-to-3, Versatile Diffusion, DiT, DynamiCrafter e InstructPix2Pix.

English

Classifier-Free Guidance (CFG) is a fundamental technique in training conditional diffusion models. The common practice for CFG-based training is to use a single network to learn both conditional and unconditional noise prediction, with a small dropout rate for conditioning. However, we observe that the joint learning of unconditional noise with limited bandwidth in training results in poor priors for the unconditional case. More importantly, these poor unconditional noise predictions become a serious reason for degrading the quality of conditional generation. Inspired by the fact that most CFG-based conditional models are trained by fine-tuning a base model with better unconditional generation, we first show that simply replacing the unconditional noise in CFG with that predicted by the base model can significantly improve conditional generation. Furthermore, we show that a diffusion model other than the one the fine-tuned model was trained on can be used for unconditional noise replacement. We experimentally verify our claim with a range of CFG-based conditional models for both image and video generation, including Zero-1-to-3, Versatile Diffusion, DiT, DynamiCrafter, and InstructPix2Pix.