Super-risoluzione nello Spazio Latente per la Generazione di Immagini ad Alta Risoluzione con Modelli di Diffusione

Latent Space Super-Resolution for Higher-Resolution Image Generation with Diffusion Models

March 24, 2025

Autori: Jinho Jeong, Sangmin Han, Jinwoo Kim, Seon Joo Kim

cs.AI

Abstract

In questo articolo, proponiamo LSRNA, un nuovo framework per la generazione di immagini ad alta risoluzione (superiori a 1K) utilizzando modelli di diffusione, sfruttando la super-risoluzione direttamente nello spazio latente. I modelli di diffusione esistenti faticano a scalare oltre le risoluzioni di addestramento, spesso portando a distorsioni strutturali o ripetizioni di contenuto. I metodi basati su riferimento affrontano questi problemi aumentando la risoluzione di un riferimento a bassa risoluzione per guidare la generazione ad alta risoluzione. Tuttavia, si scontrano con sfide significative: l'aumento di risoluzione nello spazio latente spesso causa una deviazione della varietà, che degrada la qualità dell'output. D'altra parte, l'aumento di risoluzione nello spazio RGB tende a produrre output eccessivamente smussati. Per superare queste limitazioni, LSRNA combina la Super-Risoluzione nello Spazio Latente (LSR) per l'allineamento della varietà e l'Aggiunta di Rumore Regionale (RNA) per migliorare i dettagli ad alta frequenza. I nostri esperimenti estesi dimostrano che l'integrazione di LSRNA supera i metodi basati su riferimento all'avanguardia in varie risoluzioni e metriche, evidenziando il ruolo cruciale dell'aumento di risoluzione nello spazio latente nel preservare dettagli e nitidezza. Il codice è disponibile all'indirizzo https://github.com/3587jjh/LSRNA.

English

In this paper, we propose LSRNA, a novel framework for higher-resolution (exceeding 1K) image generation using diffusion models by leveraging super-resolution directly in the latent space. Existing diffusion models struggle with scaling beyond their training resolutions, often leading to structural distortions or content repetition. Reference-based methods address the issues by upsampling a low-resolution reference to guide higher-resolution generation. However, they face significant challenges: upsampling in latent space often causes manifold deviation, which degrades output quality. On the other hand, upsampling in RGB space tends to produce overly smoothed outputs. To overcome these limitations, LSRNA combines Latent space Super-Resolution (LSR) for manifold alignment and Region-wise Noise Addition (RNA) to enhance high-frequency details. Our extensive experiments demonstrate that integrating LSRNA outperforms state-of-the-art reference-based methods across various resolutions and metrics, while showing the critical role of latent space upsampling in preserving detail and sharpness. The code is available at https://github.com/3587jjh/LSRNA.