이디파이 이미지: 픽셀 공간 라플라시안 확산 모델을 사용한 고품질 이미지 생성

Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models

November 11, 2024

저자: NVIDIA, Yuval Atzmon, Maciej Bala, Yogesh Balaji, Tiffany Cai, Yin Cui, Jiaojiao Fan, Yunhao Ge, Siddharth Gururani, Jacob Huffman, Ronald Isaac, Pooya Jannaty, Tero Karras, Grace Lam, J. P. Lewis, Aaron Licata, Yen-Chen Lin, Ming-Yu Liu, Qianli Ma, Arun Mallya, Ashlee Martino-Tarr, Doug Mendez, Seungjun Nah, Chris Pruett, Fitsum Reda, Jiaming Song, Ting-Chun Wang, Fangyin Wei, Xiaohui Zeng, Yu Zeng, Qinsheng Zhang

cs.AI

초록

우리는 픽셀 단위 정확도로 사실적인 이미지 콘텐츠를 생성할 수 있는 확산 모델 패밀리인 Edify Image를 소개합니다. Edify Image는 새로운 라플라시안 확산 과정을 사용하여 훈련된 연속된 픽셀 공간 확산 모델을 활용하며, 이 과정에서 다른 주파수 대역의 이미지 신호가 다양한 속도로 감쇠됩니다. Edify Image는 텍스트에서 이미지 합성, 4K 업샘플링, ControlNets, 360 HDR 파노라마 생성 및 이미지 맞춤화를 위한 세밀한 조정을 포함한 다양한 응용 프로그램을 지원합니다.

English

We introduce Edify Image, a family of diffusion models capable of generating photorealistic image content with pixel-perfect accuracy. Edify Image utilizes cascaded pixel-space diffusion models trained using a novel Laplacian diffusion process, in which image signals at different frequency bands are attenuated at varying rates. Edify Image supports a wide range of applications, including text-to-image synthesis, 4K upsampling, ControlNets, 360 HDR panorama generation, and finetuning for image customization.