Inkonsistenzen in Konsistenzmodellen: Besseres Lösen von gewöhnlichen Differentialgleichungen impliziert nicht zwangsläufig bessere Stichproben.

Inconsistencies In Consistency Models: Better ODE Solving Does Not Imply Better Samples

November 13, 2024

Autoren: Noël Vouitsis, Rasa Hosseinzadeh, Brendan Leigh Ross, Valentin Villecroze, Satya Krishna Gorti, Jesse C. Cresswell, Gabriel Loaiza-Ganem

cs.AI

Zusammenfassung

Obwohl Diffusionsmodelle bemerkenswert hochwertige Stichproben erzeugen können, sind sie intrinsisch durch ihr teures iteratives Stichprobenverfahren eingeschränkt. Konsistenzmodelle (CMs) sind kürzlich als vielversprechende Methode zur Destillation von Diffusionsmodellen aufgetaucht, die die Kosten der Stichprobenahme reduzieren, indem sie hochwertige Stichproben in nur wenigen Iterationen generieren. Die Destillation von Konsistenzmodellen zielt darauf ab, die gewöhnliche Differentialgleichung des Wahrscheinlichkeitsflusses zu lösen, die durch ein vorhandenes Diffusionsmodell definiert ist. CMs werden nicht direkt darauf trainiert, den Fehler gegenüber einem ODE-Löser zu minimieren, sondern verwenden ein objektiveres, rechnerisch handhabbares Ziel. Um zu untersuchen, wie effektiv CMs die ODE des Wahrscheinlichkeitsflusses lösen und welchen Einfluss etwaiger induzierter Fehler auf die Qualität der erzeugten Stichproben haben, stellen wir Direkte CMs vor, die diesen Fehler direkt minimieren. Interessanterweise stellen wir fest, dass Direkte CMs den Fehler bei der ODE-Lösung im Vergleich zu CMs reduzieren, aber auch zu deutlich schlechterer Stichprobenqualität führen, was die Frage aufwirft, warum CMs überhaupt gut funktionieren. Der vollständige Code ist verfügbar unter: https://github.com/layer6ai-labs/direct-cms.

English

Although diffusion models can generate remarkably high-quality samples, they are intrinsically bottlenecked by their expensive iterative sampling procedure. Consistency models (CMs) have recently emerged as a promising diffusion model distillation method, reducing the cost of sampling by generating high-fidelity samples in just a few iterations. Consistency model distillation aims to solve the probability flow ordinary differential equation (ODE) defined by an existing diffusion model. CMs are not directly trained to minimize error against an ODE solver, rather they use a more computationally tractable objective. As a way to study how effectively CMs solve the probability flow ODE, and the effect that any induced error has on the quality of generated samples, we introduce Direct CMs, which directly minimize this error. Intriguingly, we find that Direct CMs reduce the ODE solving error compared to CMs but also result in significantly worse sample quality, calling into question why exactly CMs work well in the first place. Full code is available at: https://github.com/layer6ai-labs/direct-cms.