오메간스: 확산 기반 합성에서 다양한 미립자에 대한 단일 매개변수

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

저자: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

초록

본 연구에서는 확산 기반 합성에서 세분성을 효과적으로 제어하기 위한 단일 매개변수 오메가를 소개합니다. 이 매개변수는 확산 모델의 역과정에서의 노이즈 제거 단계 중에 통합됩니다. 저희 방법은 모델 재학습, 구조적 수정, 추론 중 추가적인 계산 부담이 필요하지 않지만 생성된 출력물의 세부 수준을 정밀하게 제어할 수 있습니다. 게다가, 공간 마스크나 다양한 오메가 값의 노이즈 제거 일정을 적용하여 영역별 또는 타임스텝별 세분성 제어를 달성할 수 있습니다. 제어 신호나 참조 이미지로부터의 이미지 구성에 대한 사전 지식은 특정 객체에 대한 세분성 제어를 위한 정확한 오메가 마스크 작성을 용이하게 합니다. 미묘한 세부 변화를 제어하는 데 매개변수의 역할을 강조하기 위해 해당 기술은 "오메가"와 "뉘앙스"를 결합한 "오메간스"로 명명되었습니다. 저희 방법은 다양한 이미지 및 비디오 합성 작업에서 탁월한 성능을 보이며 고급 확산 모델에 적응할 수 있습니다. 코드는 https://github.com/itsmag11/Omegance에서 사용할 수 있습니다.

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.