Stabile Konsistenzabstimmung: Verständnis und Verbesserung von Konsistenzmodellen

Stable Consistency Tuning: Understanding and Improving Consistency Models

October 24, 2024

Autoren: Fu-Yun Wang, Zhengyang Geng, Hongsheng Li

cs.AI

Zusammenfassung

Diffusionsmodelle erzielen eine überlegene Generierungsqualität, leiden jedoch unter einer langsamen Generierungsgeschwindigkeit aufgrund der iterativen Natur des Rauschunterdrückungsprozesses. Im Gegensatz dazu erreichen Konsistenzmodelle, eine neue generative Modellfamilie, eine wettbewerbsfähige Leistung bei deutlich schnellerer Probenahme. Diese Modelle werden entweder durch Konsistenzdestillation trainiert, die auf vorab trainierten Diffusionsmodellen basiert, oder durch Konsistenztraining/-anpassung direkt aus Rohdaten. In dieser Arbeit schlagen wir einen neuartigen Rahmen zur Untersuchung von Konsistenzmodellen vor, indem wir den Rauschunterdrückungsprozess des Diffusionsmodells als Markov-Entscheidungsprozess (MDP) modellieren und das Training von Konsistenzmodellen als Werteschätzung durch Temporal Difference (TD) Learning darstellen. Dieser Rahmen ermöglicht es uns insbesondere, die Grenzen der aktuellen Konsistenztrainings-/-anpassungsstrategien zu analysieren. Aufbauend auf Easy Consistency Tuning (ECT) schlagen wir Stable Consistency Tuning (SCT) vor, das eine lernreduzierte Varianz unter Verwendung der Score-Identität integriert. SCT führt zu signifikanten Leistungsverbesserungen bei Benchmarks wie CIFAR-10 und ImageNet-64. Auf ImageNet-64 erreicht SCT einen 1-Schritt-FID von 2,42 und einen 2-Schritt-FID von 1,55, ein neuer Stand der Technik für Konsistenzmodelle.

English

Diffusion models achieve superior generation quality but suffer from slow generation speed due to the iterative nature of denoising. In contrast, consistency models, a new generative family, achieve competitive performance with significantly faster sampling. These models are trained either through consistency distillation, which leverages pretrained diffusion models, or consistency training/tuning directly from raw data. In this work, we propose a novel framework for understanding consistency models by modeling the denoising process of the diffusion model as a Markov Decision Process (MDP) and framing consistency model training as the value estimation through Temporal Difference~(TD) Learning. More importantly, this framework allows us to analyze the limitations of current consistency training/tuning strategies. Built upon Easy Consistency Tuning (ECT), we propose Stable Consistency Tuning (SCT), which incorporates variance-reduced learning using the score identity. SCT leads to significant performance improvements on benchmarks such as CIFAR-10 and ImageNet-64. On ImageNet-64, SCT achieves 1-step FID 2.42 and 2-step FID 1.55, a new SoTA for consistency models.