Édification d'Image : Génération d'Images de Haute Qualité avec des Modèles de Diffusion dans l'Espace des Pixels Laplacien

Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models

November 11, 2024

Auteurs: NVIDIA, Yuval Atzmon, Maciej Bala, Yogesh Balaji, Tiffany Cai, Yin Cui, Jiaojiao Fan, Yunhao Ge, Siddharth Gururani, Jacob Huffman, Ronald Isaac, Pooya Jannaty, Tero Karras, Grace Lam, J. P. Lewis, Aaron Licata, Yen-Chen Lin, Ming-Yu Liu, Qianli Ma, Arun Mallya, Ashlee Martino-Tarr, Doug Mendez, Seungjun Nah, Chris Pruett, Fitsum Reda, Jiaming Song, Ting-Chun Wang, Fangyin Wei, Xiaohui Zeng, Yu Zeng, Qinsheng Zhang

cs.AI

Résumé

Nous présentons Edify Image, une famille de modèles de diffusion capables de générer du contenu d'image photoréaliste avec une précision pixel par pixel. Edify Image utilise des modèles de diffusion dans l'espace des pixels en cascade, entraînés à l'aide d'un processus de diffusion laplacien novateur, dans lequel les signaux d'image à différentes bandes de fréquence sont atténués à des taux variables. Edify Image prend en charge une large gamme d'applications, notamment la synthèse texte-image, l'augmentation en 4K, les ControlNets, la génération de panoramas HDR à 360 degrés et le peaufinage pour la personnalisation d'images.

English

We introduce Edify Image, a family of diffusion models capable of generating photorealistic image content with pixel-perfect accuracy. Edify Image utilizes cascaded pixel-space diffusion models trained using a novel Laplacian diffusion process, in which image signals at different frequency bands are attenuated at varying rates. Edify Image supports a wide range of applications, including text-to-image synthesis, 4K upsampling, ControlNets, 360 HDR panorama generation, and finetuning for image customization.