일정 가속도 흐름

Constant Acceleration Flow

November 1, 2024

저자: Dogyun Park, Sojin Lee, Sihyeon Kim, Taehoon Lee, Youngjoon Hong, Hyunwoo J. Kim

cs.AI

초록

교정된 흐름과 재흐름 절차는 보통의 미분 방정식(ODE) 흐름을 점진적으로 평탄화하여 빠른 생성을 혁신적으로 발전시켰다. 이들은 이미지와 노이즈 쌍인 커플링이 일정 속도로 직선 궤적으로 근사될 수 있다는 가정 하에 작동한다. 그러나 우리는 일정 속도로 모델링하고 재흐름 절차를 사용하는 것이 쌍 간의 직선 궤적을 정확하게 학습하는 데 제한이 있어 몇 단계 생성에서 최적의 성능을 얻지 못하는 것을 관찰했다. 이러한 제한을 해결하기 위해 우리는 단순한 일정 가속도 방정식에 기반한 혁신적인 프레임워크인 Constant Acceleration Flow (CAF)를 소개한다. CAF는 가속도를 추가적인 학습 가능한 변수로 도입하여 ODE 흐름의 보다 표현력이 풍부하고 정확한 추정을 가능하게 한다. 게다가 우리는 가속도 모델을 위한 초기 속도 조건화와 초기 속도에 대한 재흐름 프로세스 두 가지 기술을 제안한다. 장난감 데이터셋, CIFAR-10 및 ImageNet 64x64에 대한 포괄적인 연구 결과 CAF가 한 단계 생성에서 최첨단 기준을 능가함을 보여준다. 또한 CAF가 Rectified flow보다 몇 단계 커플링 보존 및 역전에 혁신적으로 개선됨을 보여준다. 코드는 https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}에서 제공된다.

English

Rectified flow and reflow procedures have significantly advanced fast generation by progressively straightening ordinary differential equation (ODE) flows. They operate under the assumption that image and noise pairs, known as couplings, can be approximated by straight trajectories with constant velocity. However, we observe that modeling with constant velocity and using reflow procedures have limitations in accurately learning straight trajectories between pairs, resulting in suboptimal performance in few-step generation. To address these limitations, we introduce Constant Acceleration Flow (CAF), a novel framework based on a simple constant acceleration equation. CAF introduces acceleration as an additional learnable variable, allowing for more expressive and accurate estimation of the ODE flow. Moreover, we propose two techniques to further improve estimation accuracy: initial velocity conditioning for the acceleration model and a reflow process for the initial velocity. Our comprehensive studies on toy datasets, CIFAR-10, and ImageNet 64x64 demonstrate that CAF outperforms state-of-the-art baselines for one-step generation. We also show that CAF dramatically improves few-step coupling preservation and inversion over Rectified flow. Code is available at https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.