Les Flots Normalisés sont des Modèles Génératifs Capables

Normalizing Flows are Capable Generative Models

December 9, 2024

Auteurs: Shuangfei Zhai, Ruixiang Zhang, Preetum Nakkiran, David Berthelot, Jiatao Gu, Huangjie Zheng, Tianrong Chen, Miguel Angel Bautista, Navdeep Jaitly, Josh Susskind

cs.AI

Résumé

Les Flots Normalisés (NF) sont des modèles basés sur la vraisemblance pour des entrées continues. Ils ont démontré des résultats prometteurs à la fois en estimation de densité et en modélisation générative, mais ont reçu relativement peu d'attention ces dernières années. Dans ce travail, nous démontrons que les NF sont plus puissants que ce qui était précédemment admis. Nous présentons TarFlow : une architecture simple et évolutive qui permet des modèles NF très performants. TarFlow peut être considéré comme une variante basée sur les Transformers des Flots Autoregressifs Masqués (MAFs) : il se compose d'une pile de blocs Transformers autoregressifs sur des patchs d'image, alternant la direction de l'autorégression entre les couches. TarFlow est facile à entraîner de bout en bout et capable de modéliser et de générer directement des pixels. Nous proposons également trois techniques clés pour améliorer la qualité des échantillons : l'augmentation du bruit gaussien pendant l'entraînement, une procédure de débruitage post-entraînement et une méthode de guidage efficace pour les paramètres conditionnels de classe et inconditionnels. En combinant ces éléments, TarFlow établit de nouveaux résultats de pointe en termes d'estimation de vraisemblance pour les images, surpassant largement les méthodes précédentes, et génère des échantillons avec une qualité et une diversité comparables aux modèles de diffusion, pour la première fois avec un modèle NF autonome. Nous mettons notre code à disposition sur https://github.com/apple/ml-tarflow.

English

Normalizing Flows (NFs) are likelihood-based models for continuous inputs. They have demonstrated promising results on both density estimation and generative modeling tasks, but have received relatively little attention in recent years. In this work, we demonstrate that NFs are more powerful than previously believed. We present TarFlow: a simple and scalable architecture that enables highly performant NF models. TarFlow can be thought of as a Transformer-based variant of Masked Autoregressive Flows (MAFs): it consists of a stack of autoregressive Transformer blocks on image patches, alternating the autoregression direction between layers. TarFlow is straightforward to train end-to-end, and capable of directly modeling and generating pixels. We also propose three key techniques to improve sample quality: Gaussian noise augmentation during training, a post training denoising procedure, and an effective guidance method for both class-conditional and unconditional settings. Putting these together, TarFlow sets new state-of-the-art results on likelihood estimation for images, beating the previous best methods by a large margin, and generates samples with quality and diversity comparable to diffusion models, for the first time with a stand-alone NF model. We make our code available at https://github.com/apple/ml-tarflow.