Масштабирование времени вывода для моделей диффузии за пределами масштабирования шагов шумоподавления

Inference-Time Scaling for Diffusion Models beyond Scaling Denoising Steps

January 16, 2025

Авторы: Nanye Ma, Shangyuan Tong, Haolin Jia, Hexiang Hu, Yu-Chuan Su, Mingda Zhang, Xuan Yang, Yandong Li, Tommi Jaakkola, Xuhui Jia, Saining Xie

cs.AI

Аннотация

Генеративные модели оказали значительное влияние в различных областях, в значительной степени благодаря их способности масштабироваться во время обучения путем увеличения данных, вычислительных ресурсов и размера модели, явление, описываемое законами масштабирования. Недавние исследования начали изучать поведение масштабирования во время вывода в больших языковых моделях (LLM), раскрывая, как производительность может дополнительно улучшаться с дополнительными вычислениями во время вывода. В отличие от LLM, модели диффузии по своей природе обладают гибкостью в настройке вычислений во время вывода с помощью количества шагов денойзинга, хотя прирост производительности обычно замедляется после нескольких десятков. В данной работе мы исследуем поведение масштабирования во время вывода моделей диффузии за пределами увеличения шагов денойзинга и исследуем, как производительность генерации может дополнительно улучшиться с увеличением вычислений. Конкретно, мы рассматриваем задачу поиска с целью выявления лучших шумов для процесса диффузионной выборки. Мы структурируем пространство проектирования по двум осям: верификаторы, используемые для обратной связи, и алгоритмы, используемые для поиска лучших кандидатов на шум. Через обширные эксперименты на классифицированных и текстовых образцах генерации изображений наша работа показывает, что увеличение времени вывода приводит к существенному улучшению качества образцов, сгенерированных моделями диффузии, и с учетом сложной природы изображений, комбинации компонентов в рамках могут быть специально выбраны для соответствия различным сценариям применения.

English

Generative models have made significant impacts across various domains, largely due to their ability to scale during training by increasing data, computational resources, and model size, a phenomenon characterized by the scaling laws. Recent research has begun to explore inference-time scaling behavior in Large Language Models (LLMs), revealing how performance can further improve with additional computation during inference. Unlike LLMs, diffusion models inherently possess the flexibility to adjust inference-time computation via the number of denoising steps, although the performance gains typically flatten after a few dozen. In this work, we explore the inference-time scaling behavior of diffusion models beyond increasing denoising steps and investigate how the generation performance can further improve with increased computation. Specifically, we consider a search problem aimed at identifying better noises for the diffusion sampling process. We structure the design space along two axes: the verifiers used to provide feedback, and the algorithms used to find better noise candidates. Through extensive experiments on class-conditioned and text-conditioned image generation benchmarks, our findings reveal that increasing inference-time compute leads to substantial improvements in the quality of samples generated by diffusion models, and with the complicated nature of images, combinations of the components in the framework can be specifically chosen to conform with different application scenario.