Flux à Accélération Constante

Constant Acceleration Flow

November 1, 2024

Auteurs: Dogyun Park, Sojin Lee, Sihyeon Kim, Taehoon Lee, Youngjoon Hong, Hyunwoo J. Kim

cs.AI

Résumé

Les procédures de flux rectifié et de reflux ont considérablement fait progresser la génération rapide en redressant progressivement les flux d'équations différentielles ordinaires (ODE). Elles opèrent en supposant que les paires d'images et de bruit, appelées couplages, peuvent être approximées par des trajectoires rectilignes à vitesse constante. Cependant, nous observons que la modélisation avec une vitesse constante et l'utilisation de procédures de reflux présentent des limites dans l'apprentissage précis des trajectoires rectilignes entre les paires, ce qui se traduit par des performances sous-optimales dans la génération en quelques étapes. Pour remédier à ces limitations, nous introduisons le Flux à Accélération Constante (CAF), un nouveau cadre basé sur une simple équation d'accélération constante. Le CAF introduit l'accélération en tant que variable d'apprentissage supplémentaire, permettant une estimation plus expressive et précise du flux ODE. De plus, nous proposons deux techniques pour améliorer davantage la précision de l'estimation : la condition de vitesse initiale pour le modèle d'accélération et un processus de reflux pour la vitesse initiale. Nos études approfondies sur des ensembles de données jouets, CIFAR-10 et ImageNet 64x64, démontrent que le CAF surpasse les références de pointe pour la génération en une étape. Nous montrons également que le CAF améliore considérablement la préservation des couplages en quelques étapes et l'inversion par rapport au flux rectifié. Le code est disponible sur https://github.com/mlvlab/CAF.

English

Rectified flow and reflow procedures have significantly advanced fast generation by progressively straightening ordinary differential equation (ODE) flows. They operate under the assumption that image and noise pairs, known as couplings, can be approximated by straight trajectories with constant velocity. However, we observe that modeling with constant velocity and using reflow procedures have limitations in accurately learning straight trajectories between pairs, resulting in suboptimal performance in few-step generation. To address these limitations, we introduce Constant Acceleration Flow (CAF), a novel framework based on a simple constant acceleration equation. CAF introduces acceleration as an additional learnable variable, allowing for more expressive and accurate estimation of the ODE flow. Moreover, we propose two techniques to further improve estimation accuracy: initial velocity conditioning for the acceleration model and a reflow process for the initial velocity. Our comprehensive studies on toy datasets, CIFAR-10, and ImageNet 64x64 demonstrate that CAF outperforms state-of-the-art baselines for one-step generation. We also show that CAF dramatically improves few-step coupling preservation and inversion over Rectified flow. Code is available at https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.