NitroFusion: Diffusione ad alta fedeltà in un singolo passaggio attraverso l'addestramento avversario dinamico

NitroFusion: High-Fidelity Single-Step Diffusion through Dynamic Adversarial Training

December 2, 2024

Autori: Dar-Yen Chen, Hmrishav Bandyopadhyay, Kai Zou, Yi-Zhe Song

cs.AI

Abstract

Introduciamo NitroFusion, un approccio fondamentalmente diverso alla diffusione in un singolo passaggio che raggiunge una generazione di alta qualità attraverso un framework avversario dinamico. Mentre i metodi in un solo passaggio offrono notevoli vantaggi in termini di velocità, solitamente soffrono di degrado della qualità rispetto ai loro corrispettivi a più passaggi. Proprio come una giuria di critici d'arte fornisce un feedback completo specializzandosi in diversi aspetti come composizione, colore e tecnica, il nostro approccio mantiene un ampio pool di discriminatori specializzati che guidano collettivamente il processo di generazione. Ciascun gruppo di discriminatori sviluppa competenze in specifici aspetti di qualità a diversi livelli di rumore, fornendo feedback diversificato che consente una generazione in un solo passaggio ad alta fedeltà. Il nostro framework combina: (i) un pool di discriminatori dinamico con gruppi di discriminatori specializzati per migliorare la qualità della generazione, (ii) meccanismi di aggiornamento strategico per prevenire l'overfitting dei discriminatori, e (iii) discriminatori globali-locali per una valutazione della qualità multi-scala, e addestramento incondizionato/condizionato per una generazione bilanciata. Inoltre, il nostro framework supporta in modo unico un deployment flessibile attraverso un affinamento bottom-up, consentendo agli utenti di scegliere dinamicamente tra 1-4 passaggi di denoising con lo stesso modello per scambi diretti tra qualità e velocità. Attraverso esperimenti esaustivi, dimostriamo che NitroFusion supera significativamente i metodi in un solo passaggio esistenti su molteplici metriche di valutazione, eccellendo particolarmente nel preservare dettagli fini e coerenza globale.

English

We introduce NitroFusion, a fundamentally different approach to single-step diffusion that achieves high-quality generation through a dynamic adversarial framework. While one-step methods offer dramatic speed advantages, they typically suffer from quality degradation compared to their multi-step counterparts. Just as a panel of art critics provides comprehensive feedback by specializing in different aspects like composition, color, and technique, our approach maintains a large pool of specialized discriminator heads that collectively guide the generation process. Each discriminator group develops expertise in specific quality aspects at different noise levels, providing diverse feedback that enables high-fidelity one-step generation. Our framework combines: (i) a dynamic discriminator pool with specialized discriminator groups to improve generation quality, (ii) strategic refresh mechanisms to prevent discriminator overfitting, and (iii) global-local discriminator heads for multi-scale quality assessment, and unconditional/conditional training for balanced generation. Additionally, our framework uniquely supports flexible deployment through bottom-up refinement, allowing users to dynamically choose between 1-4 denoising steps with the same model for direct quality-speed trade-offs. Through comprehensive experiments, we demonstrate that NitroFusion significantly outperforms existing single-step methods across multiple evaluation metrics, particularly excelling in preserving fine details and global consistency.