Propriétés d'échelle des modèles de diffusion pour les tâches perceptuelles

Scaling Properties of Diffusion Models for Perceptual Tasks

November 12, 2024

Auteurs: Rahul Ravishankar, Zeeshan Patel, Jathushan Rajasegaran, Jitendra Malik

cs.AI

Résumé

Dans cet article, nous soutenons que le calcul itératif avec des modèles de diffusion offre un paradigme puissant non seulement pour la génération mais aussi pour les tâches de perception visuelle. Nous unifions des tâches telles que l'estimation de la profondeur, le flux optique et la segmentation sous la traduction d'image à image, et montrons comment les modèles de diffusion bénéficient de la mise à l'échelle de l'entraînement et du calcul au moment du test pour ces tâches de perception. À travers une analyse minutieuse de ces comportements de mise à l'échelle, nous présentons diverses techniques pour entraîner efficacement des modèles de diffusion pour les tâches de perception visuelle. Nos modèles atteignent des performances améliorées ou comparables aux méthodes de pointe en utilisant significativement moins de données et de calcul. Pour utiliser notre code et nos modèles, consultez https://scaling-diffusion-perception.github.io.

English

In this paper, we argue that iterative computation with diffusion models offers a powerful paradigm for not only generation but also visual perception tasks. We unify tasks such as depth estimation, optical flow, and segmentation under image-to-image translation, and show how diffusion models benefit from scaling training and test-time compute for these perception tasks. Through a careful analysis of these scaling behaviors, we present various techniques to efficiently train diffusion models for visual perception tasks. Our models achieve improved or comparable performance to state-of-the-art methods using significantly less data and compute. To use our code and models, see https://scaling-diffusion-perception.github.io .