Skalierung zur Inferenzzeit für Diffusionsmodelle über den Skalierungsdämpfungsschritten hinaus

Inference-Time Scaling for Diffusion Models beyond Scaling Denoising Steps

January 16, 2025

Autoren: Nanye Ma, Shangyuan Tong, Haolin Jia, Hexiang Hu, Yu-Chuan Su, Mingda Zhang, Xuan Yang, Yandong Li, Tommi Jaakkola, Xuhui Jia, Saining Xie

cs.AI

Zusammenfassung

Generative Modelle haben in verschiedenen Bereichen erhebliche Auswirkungen gehabt, hauptsächlich aufgrund ihrer Fähigkeit, während des Trainings durch Erhöhung von Daten, Rechenressourcen und Modellgröße zu skalieren, ein Phänomen, das durch die Skalierungsgesetze charakterisiert wird. Aktuelle Forschung hat begonnen, das Skalierungsverhalten zur Inferenzzeit bei Large Language Models (LLMs) zu erforschen, was zeigt, wie die Leistung durch zusätzliche Berechnungen während der Inferenz weiter verbessert werden kann. Im Gegensatz zu LLMs besitzen Diffusionsmodelle von Natur aus die Flexibilität, die Berechnung zur Inferenzzeit über die Anzahl der Rauschunterdrückungsschritte anzupassen, obwohl die Leistungsgewinne in der Regel nach einigen Dutzend abflachen. In dieser Arbeit erforschen wir das Skalierungsverhalten zur Inferenzzeit von Diffusionsmodellen über die Erhöhung der Rauschunterdrückungsschritte hinaus und untersuchen, wie die Generierungsleistung durch erhöhte Berechnung weiter verbessert werden kann. Insbesondere betrachten wir ein Suchproblem, das darauf abzielt, bessere Rausche für den Diffusionsabtastungsprozess zu identifizieren. Wir strukturieren den Designraum entlang zweier Achsen: der Verifikatoren, die zur Rückmeldung verwendet werden, und der Algorithmen, die zur Suche nach besseren Rauschkandidaten verwendet werden. Durch umfangreiche Experimente an klassenbedingten und textbedingten Bildgenerierungsbenchmarks zeigen unsere Ergebnisse, dass eine Erhöhung der Inferenzzeitberechnung zu erheblichen Verbesserungen bei der Qualität der von Diffusionsmodellen generierten Proben führt und dass bei der komplexen Natur von Bildern Kombinationen der Komponenten im Rahmenwerk speziell für verschiedene Anwendungsszenarien ausgewählt werden können.

English

Generative models have made significant impacts across various domains, largely due to their ability to scale during training by increasing data, computational resources, and model size, a phenomenon characterized by the scaling laws. Recent research has begun to explore inference-time scaling behavior in Large Language Models (LLMs), revealing how performance can further improve with additional computation during inference. Unlike LLMs, diffusion models inherently possess the flexibility to adjust inference-time computation via the number of denoising steps, although the performance gains typically flatten after a few dozen. In this work, we explore the inference-time scaling behavior of diffusion models beyond increasing denoising steps and investigate how the generation performance can further improve with increased computation. Specifically, we consider a search problem aimed at identifying better noises for the diffusion sampling process. We structure the design space along two axes: the verifiers used to provide feedback, and the algorithms used to find better noise candidates. Through extensive experiments on class-conditioned and text-conditioned image generation benchmarks, our findings reveal that increasing inference-time compute leads to substantial improvements in the quality of samples generated by diffusion models, and with the complicated nature of images, combinations of the components in the framework can be specifically chosen to conform with different application scenario.