Dimensionamento em Tempo de Inferência para Modelos de Difusão além da Etapa de Dimensionamento de Desnitrificação

Inference-Time Scaling for Diffusion Models beyond Scaling Denoising Steps

January 16, 2025

Autores: Nanye Ma, Shangyuan Tong, Haolin Jia, Hexiang Hu, Yu-Chuan Su, Mingda Zhang, Xuan Yang, Yandong Li, Tommi Jaakkola, Xuhui Jia, Saining Xie

cs.AI

Resumo

Os modelos generativos têm tido impactos significativos em vários domínios, em grande parte devido à sua capacidade de escalar durante o treinamento aumentando dados, recursos computacionais e tamanho do modelo, um fenômeno caracterizado pelas leis de escala. Pesquisas recentes começaram a explorar o comportamento de escalonamento no tempo de inferência em Modelos de Linguagem Grandes (LLMs), revelando como o desempenho pode melhorar ainda mais com computação adicional durante a inferência. Ao contrário dos LLMs, os modelos de difusão possuem inerentemente a flexibilidade de ajustar a computação no tempo de inferência através do número de etapas de desruído, embora os ganhos de desempenho geralmente se estabilizem após algumas dezenas. Neste trabalho, exploramos o comportamento de escalonamento no tempo de inferência de modelos de difusão além do aumento de etapas de desruído e investigamos como o desempenho de geração pode melhorar ainda mais com maior computação. Especificamente, consideramos um problema de busca com o objetivo de identificar melhores ruídos para o processo de amostragem de difusão. Estruturamos o espaço de design ao longo de dois eixos: os verificadores usados para fornecer feedback e os algoritmos usados para encontrar melhores candidatos a ruído. Através de experimentos extensivos em benchmarks de geração de imagens condicionadas por classe e texto, nossas descobertas revelam que o aumento de computação no tempo de inferência leva a melhorias substanciais na qualidade das amostras geradas por modelos de difusão, e com a natureza complicada das imagens, combinações dos componentes no framework podem ser escolhidas especificamente para se adequarem a diferentes cenários de aplicação.

English

Generative models have made significant impacts across various domains, largely due to their ability to scale during training by increasing data, computational resources, and model size, a phenomenon characterized by the scaling laws. Recent research has begun to explore inference-time scaling behavior in Large Language Models (LLMs), revealing how performance can further improve with additional computation during inference. Unlike LLMs, diffusion models inherently possess the flexibility to adjust inference-time computation via the number of denoising steps, although the performance gains typically flatten after a few dozen. In this work, we explore the inference-time scaling behavior of diffusion models beyond increasing denoising steps and investigate how the generation performance can further improve with increased computation. Specifically, we consider a search problem aimed at identifying better noises for the diffusion sampling process. We structure the design space along two axes: the verifiers used to provide feedback, and the algorithms used to find better noise candidates. Through extensive experiments on class-conditioned and text-conditioned image generation benchmarks, our findings reveal that increasing inference-time compute leads to substantial improvements in the quality of samples generated by diffusion models, and with the complicated nature of images, combinations of the components in the framework can be specifically chosen to conform with different application scenario.