Flusso a accelerazione costante

Constant Acceleration Flow

November 1, 2024

Autori: Dogyun Park, Sojin Lee, Sihyeon Kim, Taehoon Lee, Youngjoon Hong, Hyunwoo J. Kim

cs.AI

Abstract

Le procedure di flusso rettificato e riflusso hanno notevolmente avanzato la generazione rapida attraverso la progressiva rettificazione dei flussi di equazioni differenziali ordinarie (ODE). Operano partendo dall'assunzione che le coppie di immagini e rumore, note come accoppiamenti, possano essere approssimate da traiettorie rette con velocità costante. Tuttavia, osserviamo che la modellazione con velocità costante e l'utilizzo delle procedure di riflusso presentano limitazioni nell'apprendimento accurato delle traiettorie rette tra le coppie, con conseguente performance non ottimale nella generazione a pochi passi. Per affrontare tali limitazioni, introduciamo il Flusso ad Accelerazione Costante (CAF), un nuovo framework basato su un'equazione di accelerazione costante semplice. Il CAF introduce l'accelerazione come variabile apprendibile aggiuntiva, consentendo una stima più espressiva e accurata del flusso ODE. Inoltre, proponiamo due tecniche per migliorare ulteriormente l'accuratezza della stima: il condizionamento della velocità iniziale per il modello di accelerazione e un processo di riflusso per la velocità iniziale. I nostri approfonditi studi su dataset di esempio, CIFAR-10 e ImageNet 64x64, dimostrano che il CAF supera le baselines all'avanguardia per la generazione a un passo. Mostriamo inoltre che il CAF migliora drasticamente la conservazione degli accoppiamenti a pochi passi e l'inversione rispetto al flusso rettificato. Il codice è disponibile su https://github.com/mlvlab/CAF.

English

Rectified flow and reflow procedures have significantly advanced fast generation by progressively straightening ordinary differential equation (ODE) flows. They operate under the assumption that image and noise pairs, known as couplings, can be approximated by straight trajectories with constant velocity. However, we observe that modeling with constant velocity and using reflow procedures have limitations in accurately learning straight trajectories between pairs, resulting in suboptimal performance in few-step generation. To address these limitations, we introduce Constant Acceleration Flow (CAF), a novel framework based on a simple constant acceleration equation. CAF introduces acceleration as an additional learnable variable, allowing for more expressive and accurate estimation of the ODE flow. Moreover, we propose two techniques to further improve estimation accuracy: initial velocity conditioning for the acceleration model and a reflow process for the initial velocity. Our comprehensive studies on toy datasets, CIFAR-10, and ImageNet 64x64 demonstrate that CAF outperforms state-of-the-art baselines for one-step generation. We also show that CAF dramatically improves few-step coupling preservation and inversion over Rectified flow. Code is available at https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.