Scaling temporale per modelli di diffusione oltre il ridimensionamento dei passaggi di denoising

Inference-Time Scaling for Diffusion Models beyond Scaling Denoising Steps

January 16, 2025

Autori: Nanye Ma, Shangyuan Tong, Haolin Jia, Hexiang Hu, Yu-Chuan Su, Mingda Zhang, Xuan Yang, Yandong Li, Tommi Jaakkola, Xuhui Jia, Saining Xie

cs.AI

Abstract

I modelli generativi hanno avuto un impatto significativo in vari ambiti, in gran parte grazie alla loro capacità di scalare durante l'addestramento aumentando i dati, le risorse computazionali e le dimensioni del modello, un fenomeno caratterizzato dalle leggi di scaling. Ricerche recenti hanno iniziato a esplorare il comportamento di scaling al momento dell'inferenza nei Grandi Modelli Linguistici (LLM), rivelando come le prestazioni possano ulteriormente migliorare con ulteriori calcoli durante l'inferenza. A differenza dei LLM, i modelli di diffusione possiedono intrinsecamente la flessibilità di regolare il calcolo al momento dell'inferenza tramite il numero di passaggi di denoising, anche se i guadagni di prestazioni tendono tipicamente a stabilizzarsi dopo alcune dozzine. In questo lavoro, esploriamo il comportamento di scaling al momento dell'inferenza dei modelli di diffusione oltre all'aumento dei passaggi di denoising e indaghiamo su come le prestazioni di generazione possano ulteriormente migliorare con un calcolo aumentato. In particolare, consideriamo un problema di ricerca mirato a identificare migliori rumori per il processo di campionamento di diffusione. Strutturiamo lo spazio di progettazione lungo due assi: i verificatori utilizzati per fornire feedback e gli algoritmi utilizzati per trovare migliori candidati di rumore. Attraverso estesi esperimenti su benchmark di generazione di immagini condizionate alla classe e al testo, le nostre scoperte rivelano che l'aumento del calcolo al momento dell'inferenza porta a miglioramenti sostanziali nella qualità dei campioni generati dai modelli di diffusione e, con la natura complicata delle immagini, le combinazioni dei componenti nel framework possono essere scelte specificamente per conformarsi a diversi scenari applicativi.

English

Generative models have made significant impacts across various domains, largely due to their ability to scale during training by increasing data, computational resources, and model size, a phenomenon characterized by the scaling laws. Recent research has begun to explore inference-time scaling behavior in Large Language Models (LLMs), revealing how performance can further improve with additional computation during inference. Unlike LLMs, diffusion models inherently possess the flexibility to adjust inference-time computation via the number of denoising steps, although the performance gains typically flatten after a few dozen. In this work, we explore the inference-time scaling behavior of diffusion models beyond increasing denoising steps and investigate how the generation performance can further improve with increased computation. Specifically, we consider a search problem aimed at identifying better noises for the diffusion sampling process. We structure the design space along two axes: the verifiers used to provide feedback, and the algorithms used to find better noise candidates. Through extensive experiments on class-conditioned and text-conditioned image generation benchmarks, our findings reveal that increasing inference-time compute leads to substantial improvements in the quality of samples generated by diffusion models, and with the complicated nature of images, combinations of the components in the framework can be specifically chosen to conform with different application scenario.