Visuele Generatie Zonder Begeleiding

Visual Generation Without Guidance

January 26, 2025

Auteurs: Huayu Chen, Kai Jiang, Kaiwen Zheng, Jianfei Chen, Hang Su, Jun Zhu

cs.AI

Samenvatting

Classifier-Free Guidance (CFG) is een standaard techniek geweest in verschillende visuele generatieve modellen, maar het vereist inferentie van zowel conditionele als onvoorwaardelijke modellen tijdens het monsteren. Wij stellen voor om visuele modellen te bouwen die vrij zijn van geleide monstering. Het resulterende algoritme, Guidance-Free Training (GFT), evenaart de prestaties van CFG terwijl het monsteren wordt teruggebracht tot een enkel model, waardoor de computationele kosten worden gehalveerd. In tegenstelling tot eerdere op distillatie gebaseerde benaderingen die vertrouwen op vooraf getrainde CFG-netwerken, maakt GFT rechtstreeks trainen vanaf nul mogelijk. GFT is eenvoudig te implementeren. Het behoudt hetzelfde maximum likelihood doel als CFG en verschilt voornamelijk in de parameterisatie van conditionele modellen. Het implementeren van GFT vereist slechts minimale aanpassingen aan bestaande codebases, aangezien de meeste ontwerpkeuzes en hyperparameters rechtstreeks zijn overgenomen van CFG. Onze uitgebreide experimenten over vijf verschillende visuele modellen tonen de effectiviteit en veelzijdigheid van GFT aan. Over verschillende domeinen van diffusie, autoregressie en gemaskeerde voorspellingsmodellering behaalt GFT consequent vergelijkbare of zelfs lagere FID-scores, met vergelijkbare diversiteit-fidelity-afwegingen in vergelijking met CFG-baselines, allemaal zonder begeleiding. De code zal beschikbaar zijn op https://github.com/thu-ml/GFT.

English

Classifier-Free Guidance (CFG) has been a default technique in various visual generative models, yet it requires inference from both conditional and unconditional models during sampling. We propose to build visual models that are free from guided sampling. The resulting algorithm, Guidance-Free Training (GFT), matches the performance of CFG while reducing sampling to a single model, halving the computational cost. Unlike previous distillation-based approaches that rely on pretrained CFG networks, GFT enables training directly from scratch. GFT is simple to implement. It retains the same maximum likelihood objective as CFG and differs mainly in the parameterization of conditional models. Implementing GFT requires only minimal modifications to existing codebases, as most design choices and hyperparameters are directly inherited from CFG. Our extensive experiments across five distinct visual models demonstrate the effectiveness and versatility of GFT. Across domains of diffusion, autoregressive, and masked-prediction modeling, GFT consistently achieves comparable or even lower FID scores, with similar diversity-fidelity trade-offs compared with CFG baselines, all while being guidance-free. Code will be available at https://github.com/thu-ml/GFT.