Untersuchung von Classifier(-Free) Guidance aus einer klassifikatorzentrierten Perspektive

Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

March 13, 2025

Autoren: Xiaoming Zhao, Alexander G. Schwing

cs.AI

Zusammenfassung

Classifier-free Guidance hat sich zu einem Standardwerkzeug für die bedingte Generierung mit Denoising-Diffusionsmodellen entwickelt. Dennoch fehlt ein umfassendes Verständnis von Classifier-free Guidance. In dieser Arbeit führen wir eine empirische Studie durch, um eine neue Perspektive auf Classifier-free Guidance zu bieten. Konkret gehen wir nicht nur auf Classifier-free Guidance ein, sondern kehren zu den Wurzeln zurück, d.h. zur Classifier Guidance, identifizieren die zentrale Annahme für die Herleitung und führen eine systematische Studie durch, um die Rolle des Classifiers zu verstehen. Wir stellen fest, dass sowohl Classifier Guidance als auch Classifier-free Guidance die bedingte Generierung erreichen, indem sie die Denoising-Diffusionspfade von Entscheidungsgrenzen wegdrücken, d.h. von Bereichen, in denen bedingte Informationen typischerweise verflochten und schwer zu erlernen sind. Basierend auf diesem classifier-zentrierten Verständnis schlagen wir einen generischen Nachbearbeitungsschritt vor, der auf Flow-Matching aufbaut, um die Lücke zwischen der gelernten Verteilung eines vortrainierten Denoising-Diffusionsmodells und der realen Datenverteilung zu verringern, insbesondere in der Nähe der Entscheidungsgrenzen. Experimente auf verschiedenen Datensätzen bestätigen die Wirksamkeit des vorgeschlagenen Ansatzes.

English

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.