Konstante Beschleunigungsströmung

Constant Acceleration Flow

November 1, 2024

Autoren: Dogyun Park, Sojin Lee, Sihyeon Kim, Taehoon Lee, Youngjoon Hong, Hyunwoo J. Kim

cs.AI

Zusammenfassung

Die Verfahren zur geradlinigen Flusskorrektur und Rückfluss haben die schnelle Generierung durch die fortschreitende Geradlinigmachung von gewöhnlichen Differentialgleichungsflüssen erheblich vorangetrieben. Sie arbeiten unter der Annahme, dass Bild- und Rauschpaare, als Kopplungen bekannt, durch gerade Trajektorien mit konstanter Geschwindigkeit approximiert werden können. Wir beobachten jedoch, dass das Modellieren mit konstanter Geschwindigkeit und die Verwendung von Rückflussverfahren Grenzen bei der genauen Erfassung gerader Trajektorien zwischen Paaren aufweisen, was zu einer suboptimalen Leistung bei der Generierung in wenigen Schritten führt. Um diese Einschränkungen anzugehen, führen wir den Konstante-Beschleunigungs-Fluss (CAF) ein, ein neuartiges Framework, das auf einer einfachen konstanten Beschleunigungsgleichung basiert. CAF führt die Beschleunigung als zusätzliche erlernbare Variable ein, was eine ausdrucksstärkere und genauere Schätzung des ODE-Flusses ermöglicht. Darüber hinaus schlagen wir zwei Techniken vor, um die Schätzungsgenauigkeit weiter zu verbessern: die Anfangsgeschwindigkeitskonditionierung für das Beschleunigungsmodell und einen Rückflussprozess für die Anfangsgeschwindigkeit. Unsere umfassenden Studien an Spielzeugdatensätzen, CIFAR-10 und ImageNet 64x64 zeigen, dass CAF die state-of-the-art Baselines für die Ein-Schritt-Generierung übertrifft. Wir zeigen auch, dass CAF die Erhaltung und Umkehrung von Kopplungen in wenigen Schritten dramatisch verbessert im Vergleich zu geradlinigem Fluss. Der Code ist verfügbar unter https://github.com/mlvlab/CAF.

English

Rectified flow and reflow procedures have significantly advanced fast generation by progressively straightening ordinary differential equation (ODE) flows. They operate under the assumption that image and noise pairs, known as couplings, can be approximated by straight trajectories with constant velocity. However, we observe that modeling with constant velocity and using reflow procedures have limitations in accurately learning straight trajectories between pairs, resulting in suboptimal performance in few-step generation. To address these limitations, we introduce Constant Acceleration Flow (CAF), a novel framework based on a simple constant acceleration equation. CAF introduces acceleration as an additional learnable variable, allowing for more expressive and accurate estimation of the ODE flow. Moreover, we propose two techniques to further improve estimation accuracy: initial velocity conditioning for the acceleration model and a reflow process for the initial velocity. Our comprehensive studies on toy datasets, CIFAR-10, and ImageNet 64x64 demonstrate that CAF outperforms state-of-the-art baselines for one-step generation. We also show that CAF dramatically improves few-step coupling preservation and inversion over Rectified flow. Code is available at https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.