Constante Versnelling Stroom

Constant Acceleration Flow

November 1, 2024

Auteurs: Dogyun Park, Sojin Lee, Sihyeon Kim, Taehoon Lee, Youngjoon Hong, Hyunwoo J. Kim

cs.AI

Samenvatting

Gecorrigeerde stroom- en terugstroomprocedures hebben de snelle generatie aanzienlijk verbeterd door gewone differentiaalvergelijking (ODE) stromen geleidelijk te rechttrekken. Ze werken onder de veronderstelling dat beeld- en geluidsparen, bekend als koppelingen, kunnen worden benaderd door rechte trajecten met constante snelheid. We merken echter op dat modellering met constante snelheid en het gebruik van terugstroomprocedures beperkingen hebben bij het nauwkeurig leren van rechte trajecten tussen paren, wat resulteert in suboptimale prestaties bij generatie in enkele stappen. Om deze beperkingen aan te pakken, introduceren we Constante Versnellingsstroom (CAF), een nieuw raamwerk gebaseerd op een eenvoudige constante versnellingsvergelijking. CAF introduceert versnelling als een extra te leren variabele, waardoor een meer expressieve en nauwkeurige schatting van de ODE-stroom mogelijk is. Bovendien stellen we twee technieken voor om de schattingsnauwkeurigheid verder te verbeteren: initiële snelheidsconditionering voor het versnellingsmodel en een terugstroomproces voor de initiële snelheid. Onze uitgebreide studies op speelgoeddatasets, CIFAR-10 en ImageNet 64x64 tonen aan dat CAF beter presteert dan state-of-the-art baselines voor generatie in één stap. We tonen ook aan dat CAF aanzienlijk de koppelingbehoud en omkering in enkele stappen verbetert ten opzichte van Gecorrigeerde stroom. De code is beschikbaar op https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.

English

Rectified flow and reflow procedures have significantly advanced fast generation by progressively straightening ordinary differential equation (ODE) flows. They operate under the assumption that image and noise pairs, known as couplings, can be approximated by straight trajectories with constant velocity. However, we observe that modeling with constant velocity and using reflow procedures have limitations in accurately learning straight trajectories between pairs, resulting in suboptimal performance in few-step generation. To address these limitations, we introduce Constant Acceleration Flow (CAF), a novel framework based on a simple constant acceleration equation. CAF introduces acceleration as an additional learnable variable, allowing for more expressive and accurate estimation of the ODE flow. Moreover, we propose two techniques to further improve estimation accuracy: initial velocity conditioning for the acceleration model and a reflow process for the initial velocity. Our comprehensive studies on toy datasets, CIFAR-10, and ImageNet 64x64 demonstrate that CAF outperforms state-of-the-art baselines for one-step generation. We also show that CAF dramatically improves few-step coupling preservation and inversion over Rectified flow. Code is available at https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.