Edify Image: Generazione di immagini di alta qualità con modelli di diffusione nello spazio dei pixel Laplaciano.

Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models

November 11, 2024

Autori: NVIDIA, Yuval Atzmon, Maciej Bala, Yogesh Balaji, Tiffany Cai, Yin Cui, Jiaojiao Fan, Yunhao Ge, Siddharth Gururani, Jacob Huffman, Ronald Isaac, Pooya Jannaty, Tero Karras, Grace Lam, J. P. Lewis, Aaron Licata, Yen-Chen Lin, Ming-Yu Liu, Qianli Ma, Arun Mallya, Ashlee Martino-Tarr, Doug Mendez, Seungjun Nah, Chris Pruett, Fitsum Reda, Jiaming Song, Ting-Chun Wang, Fangyin Wei, Xiaohui Zeng, Yu Zeng, Qinsheng Zhang

cs.AI

Abstract

Introduciamo Edify Image, una famiglia di modelli di diffusione capaci di generare contenuti d'immagine fotorealistici con precisione pixel-perfect. Edify Image utilizza modelli di diffusione nello spazio dei pixel a cascata addestrati utilizzando un innovativo processo di diffusione laplaciana, in cui i segnali d'immagine a diverse bande di frequenza vengono attenuati a velocità variabili. Edify Image supporta una vasta gamma di applicazioni, tra cui la sintesi testo-immagine, l'upsampling 4K, i ControlNets, la generazione di panorami HDR a 360 gradi e il fine-tuning per la personalizzazione delle immagini.

English

We introduce Edify Image, a family of diffusion models capable of generating photorealistic image content with pixel-perfect accuracy. Edify Image utilizes cascaded pixel-space diffusion models trained using a novel Laplacian diffusion process, in which image signals at different frequency bands are attenuated at varying rates. Edify Image supports a wide range of applications, including text-to-image synthesis, 4K upsampling, ControlNets, 360 HDR panorama generation, and finetuning for image customization.