Omegance: Un singolo parametro per varie granularità nella sintesi basata sulla diffusione

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

Autori: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

Abstract

In questo lavoro, introduciamo un singolo parametro omega, per controllare efficacemente la granularità nella sintesi basata sulla diffusione. Questo parametro è incorporato durante le fasi di denoising del processo inverso del modello di diffusione. Il nostro approccio non richiede il ritraining del modello, modifiche architetturali o overhead computazionale aggiuntivo durante l'inferenza, consentendo comunque un controllo preciso sul livello di dettaglio nelle uscite generate. Inoltre, maschere spaziali o programmi di denoising con valori omega variabili possono essere applicati per ottenere un controllo della granularità specifico per regioni o specifico per timestep. La conoscenza pregressa della composizione dell'immagine da segnali di controllo o immagini di riferimento facilita ulteriormente la creazione di maschere omega precise per il controllo della granularità su oggetti specifici. Per evidenziare il ruolo del parametro nel controllo delle sottili variazioni dei dettagli, la tecnica è denominata Omegance, combinando "omega" e "nuance". Il nostro metodo dimostra prestazioni impressionanti in vari compiti di sintesi di immagini e video ed è adattabile a modelli di diffusione avanzati. Il codice è disponibile su https://github.com/itsmag11/Omegance.

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.