Skalierung zur Inferenzzeit für Flussmodelle durch stochastische Generierung und Rollover-Budget-Erzwingung

Inference-Time Scaling for Flow Models via Stochastic Generation and Rollover Budget Forcing

March 25, 2025

Autoren: Jaihoon Kim, Taehoon Yoon, Jisung Hwang, Minhyuk Sung

cs.AI

Zusammenfassung

Wir schlagen einen Inferenzzeit-Skalierungsansatz für vortrainierte Flow-Modelle vor. In jüngster Zeit hat die Inferenzzeit-Skalierung bei großen Sprachmodellen (LLMs) und Diffusionsmodellen erhebliche Aufmerksamkeit erlangt, da sie die Probenqualität verbessert oder die Ausgaben besser an Benutzerpräferenzen anpasst, indem zusätzliche Berechnungen genutzt werden. Bei Diffusionsmodellen hat das Partikel-Sampling eine effizientere Skalierung ermöglicht, dank der Stochastizität in den Zwischenschritten der Entrauschung. Im Gegensatz dazu, obwohl Flow-Modelle als Alternative zu Diffusionsmodellen an Popularität gewonnen haben – sie bieten schnellere Generierung und hochwertige Ausgaben in modernsten Bild- und Video-Generierungsmodellen – können die effizienten Inferenzzeit-Skalierungsmethoden, die für Diffusionsmodelle verwendet werden, aufgrund ihres deterministischen Generierungsprozesses nicht direkt angewendet werden. Um eine effiziente Inferenzzeit-Skalierung für Flow-Modelle zu ermöglichen, schlagen wir drei Schlüsselideen vor: 1) SDE-basierte Generierung, die Partikel-Sampling in Flow-Modellen ermöglicht, 2) Interpolant-Konvertierung, die den Suchraum erweitert und die Probenvielfalt verbessert, und 3) Rollover Budget Forcing (RBF), eine adaptive Zuweisung von Rechenressourcen über Zeitschritte hinweg, um die Budgetnutzung zu maximieren. Unsere Experimente zeigen, dass die SDE-basierte Generierung, insbesondere die varianzerhaltende (VP) Interpolant-basierte Generierung, die Leistung von Partikel-Sampling-Methoden für die Inferenzzeit-Skalierung in Flow-Modellen verbessert. Darüber hinaus demonstrieren wir, dass RBF mit VP-SDE die beste Leistung erzielt und alle bisherigen Inferenzzeit-Skalierungsansätze übertrifft.

English

We propose an inference-time scaling approach for pretrained flow models. Recently, inference-time scaling has gained significant attention in LLMs and diffusion models, improving sample quality or better aligning outputs with user preferences by leveraging additional computation. For diffusion models, particle sampling has allowed more efficient scaling due to the stochasticity at intermediate denoising steps. On the contrary, while flow models have gained popularity as an alternative to diffusion models--offering faster generation and high-quality outputs in state-of-the-art image and video generative models--efficient inference-time scaling methods used for diffusion models cannot be directly applied due to their deterministic generative process. To enable efficient inference-time scaling for flow models, we propose three key ideas: 1) SDE-based generation, enabling particle sampling in flow models, 2) Interpolant conversion, broadening the search space and enhancing sample diversity, and 3) Rollover Budget Forcing (RBF), an adaptive allocation of computational resources across timesteps to maximize budget utilization. Our experiments show that SDE-based generation, particularly variance-preserving (VP) interpolant-based generation, improves the performance of particle sampling methods for inference-time scaling in flow models. Additionally, we demonstrate that RBF with VP-SDE achieves the best performance, outperforming all previous inference-time scaling approaches.