FireFlow: Inversione Veloce del Flusso Rettificato per la Modifica Semantica delle Immagini

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing

December 10, 2024

Autori: Yingying Deng, Xiangyu He, Changwang Mei, Peisong Wang, Fan Tang

cs.AI

Abstract

Sebbene i Flussi Rettificati (ReFlows) con distillazione offrano un modo promettente per un campionamento veloce, la loro rapida inversione trasforma le immagini nuovamente in rumore strutturato per il ripristino e il successivo editing rimane irrisolto. Questo articolo introduce FireFlow, un approccio zero-shot semplice ma efficace che eredita la sorprendente capacità dei modelli basati su ReFlow (come FLUX) nella generazione, estendendo le sue capacità all'inversione accurata e all'editing in 8 passaggi. Dimostriamo innanzitutto che un risolutore numerico attentamente progettato è fondamentale per l'inversione di ReFlow, consentendo un'inversione e una ricostruzione accurate con la precisione di un risolutore di secondo ordine pur mantenendo l'efficienza pratica di un metodo di Eulero di primo ordine. Questo risolutore raggiunge un aumento della velocità di esecuzione del 3 volte rispetto alle tecniche di inversione e editing ReFlow all'avanguardia, offrendo errori di ricostruzione più piccoli e risultati di editing superiori in modalità senza addestramento. Il codice è disponibile su https://github.com/HolmesShuan/FireFlow{questo URL}.

English

Though Rectified Flows (ReFlows) with distillation offers a promising way for fast sampling, its fast inversion transforms images back to structured noise for recovery and following editing remains unsolved. This paper introduces FireFlow, a simple yet effective zero-shot approach that inherits the startling capacity of ReFlow-based models (such as FLUX) in generation while extending its capabilities to accurate inversion and editing in 8 steps. We first demonstrate that a carefully designed numerical solver is pivotal for ReFlow inversion, enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering smaller reconstruction errors and superior editing results in a training-free mode. The code is available at https://github.com/HolmesShuan/FireFlow{this URL}.