Visuelle Generierung ohne Anleitung.

Visual Generation Without Guidance

January 26, 2025

Autoren: Huayu Chen, Kai Jiang, Kaiwen Zheng, Jianfei Chen, Hang Su, Jun Zhu

cs.AI

Zusammenfassung

Classifier-Free Guidance (CFG) ist eine Standardtechnik in verschiedenen visuellen generativen Modellen, erfordert jedoch Inferenz von sowohl bedingten als auch unbedingten Modellen während der Stichprobenahme. Wir schlagen vor, visuelle Modelle aufzubauen, die frei von geführter Stichprobenahme sind. Der resultierende Algorithmus, Guidance-Free Training (GFT), erreicht die Leistung von CFG, während die Stichprobenahme auf ein einziges Modell reduziert wird und die Rechenkosten halbiert werden. Im Gegensatz zu früheren distillationsbasierten Ansätzen, die auf vortrainierten CFG-Netzwerken beruhen, ermöglicht es GFT, direkt von Grund auf zu trainieren. GFT ist einfach zu implementieren. Es behält das gleiche Maximum-Likelihood-Ziel wie CFG bei und unterscheidet sich hauptsächlich in der Parametrisierung der bedingten Modelle. Die Implementierung von GFT erfordert nur minimale Änderungen an bestehenden Codebasen, da die meisten Designentscheidungen und Hyperparameter direkt von CFG übernommen werden. Unsere umfangreichen Experimente mit fünf verschiedenen visuellen Modellen zeigen die Wirksamkeit und Vielseitigkeit von GFT. Über verschiedene Bereiche der Diffusion, autoregressiven und maskierten Vorhersagemodellierung hinweg erzielt GFT konsistent vergleichbare oder sogar niedrigere FID-Werte, bei ähnlichen Diversitäts-Fidelitäts-Abwägungen im Vergleich zu CFG-Baselines, und das alles ohne Anleitung. Der Code wird unter https://github.com/thu-ml/GFT verfügbar sein.

English

Classifier-Free Guidance (CFG) has been a default technique in various visual generative models, yet it requires inference from both conditional and unconditional models during sampling. We propose to build visual models that are free from guided sampling. The resulting algorithm, Guidance-Free Training (GFT), matches the performance of CFG while reducing sampling to a single model, halving the computational cost. Unlike previous distillation-based approaches that rely on pretrained CFG networks, GFT enables training directly from scratch. GFT is simple to implement. It retains the same maximum likelihood objective as CFG and differs mainly in the parameterization of conditional models. Implementing GFT requires only minimal modifications to existing codebases, as most design choices and hyperparameters are directly inherited from CFG. Our extensive experiments across five distinct visual models demonstrate the effectiveness and versatility of GFT. Across domains of diffusion, autoregressive, and masked-prediction modeling, GFT consistently achieves comparable or even lower FID scores, with similar diversity-fidelity trade-offs compared with CFG baselines, all while being guidance-free. Code will be available at https://github.com/thu-ml/GFT.