제어된 이미지 생성을 위한 벡터 필드에서의 조정된 흐름 모델을 조작하기

Steering Rectified Flow Models in the Vector Field for Controlled Image Generation

November 27, 2024

저자: Maitreya Patel, Song Wen, Dimitris N. Metaxas, Yezhou Yang

cs.AI

초록

확산 모델(Diffusion models, DMs)은 사실적인 이미지, 이미지 편집 및 역문제 해결에서 우수한 성과를 거두며, 분류기 없는 안내 및 이미지 역전 기술의 지원을 받습니다. 그러나 교정된 흐름 모델(Rectified flow models, RFMs)은 이러한 작업에 대해 아직 충분히 탐구되지 않았습니다. 기존의 DM 기반 방법은 종종 추가적인 훈련이 필요하며, 사전 훈련된 잠재 모델에 대한 일반화가 부족하며, 성능이 부족하며, ODE 솔버 및 역전 과정을 통한 광범위한 역전파로 인해 상당한 계산 리소스를 요구합니다. 본 연구에서는 먼저 RFM의 벡터 필드 역학에 대한 이론적 및 경험적 이해를 개발하여 노이즈 제거 궤적을 효율적으로 안내하는 데 있어서의 역할을 밝힙니다. 우리의 연구 결과는 우리가 벡터 필드를 결정론적이고 그래디언트 없이 탐색할 수 있다는 것을 보여줍니다. 이 특성을 활용하여 우리는 벡터 필드를 활용하여 그래디언트 스킵을 통해 제어된 이미지 생성 작업을 위한 노이즈 제거 궤적을 조절하는 FlowChef를 제안합니다. FlowChef는 분류기 안내, 선형 역문제 및 이미지 편집을 동시에 다루며, 추가 훈련, 역전 또는 고도의 역전파가 필요하지 않습니다. 마지막으로, 우리는 방대한 평가를 수행하고 FlowChef가 성능, 메모리 및 시간 요구 사항 측면에서 기존의 베이스라인을 크게 능가하며 새로운 최첨단 결과를 달성한다는 것을 보여줍니다. 프로젝트 페이지: https://flowchef.github.io.

English

Diffusion models (DMs) excel in photorealism, image editing, and solving inverse problems, aided by classifier-free guidance and image inversion techniques. However, rectified flow models (RFMs) remain underexplored for these tasks. Existing DM-based methods often require additional training, lack generalization to pretrained latent models, underperform, and demand significant computational resources due to extensive backpropagation through ODE solvers and inversion processes. In this work, we first develop a theoretical and empirical understanding of the vector field dynamics of RFMs in efficiently guiding the denoising trajectory. Our findings reveal that we can navigate the vector field in a deterministic and gradient-free manner. Utilizing this property, we propose FlowChef, which leverages the vector field to steer the denoising trajectory for controlled image generation tasks, facilitated by gradient skipping. FlowChef is a unified framework for controlled image generation that, for the first time, simultaneously addresses classifier guidance, linear inverse problems, and image editing without the need for extra training, inversion, or intensive backpropagation. Finally, we perform extensive evaluations and show that FlowChef significantly outperforms baselines in terms of performance, memory, and time requirements, achieving new state-of-the-art results. Project Page: https://flowchef.github.io.