확산 사전을 활용한 저하 유도 단계별 이미지 초해상화

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

저자: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

초록

확산 기반 이미지 초해상도 (SR) 방법은 대규모 사전 훈련된 텍스트-이미지 확산 모델을 이용하여 뛰어난 성과를 거두었습니다. 그러나 이러한 방법은 여전히 두 가지 문제에 직면하고 있습니다: 만족스러운 결과를 얻기 위해 수십 단계의 샘플링이 필요한 점은 실제 시나리오에서 효율성을 제한하며, 초해상도 문제 해결에 중요한 보조 정보인 손상 모델을 무시하는 문제가 있습니다. 본 연구에서는 확산 기반 SR 방법의 효율성 문제를 크게 해결하는 새로운 단계별 SR 모델을 소개했습니다. 기존의 미세 조정 전략과는 달리, 저해상도 이미지로부터 사전 추정된 손상 정보를 기반으로 모델 매개변수를 보정하는 SR 전용 저랭크 적응 (LoRA) 모듈을 설계했습니다. 이 모듈은 강력한 데이터 종속 또는 손상 종속 SR 모델을 용이하게 하면서 사전 훈련된 확산 모델의 생성 우선순위를 최대한 보존합니다. 더불어 온라인 부정 샘플 생성 전략을 도입하여 새로운 훈련 파이프라인을 맞춤화했습니다. 추론 중에는 분류기 없는 가이드 전략을 결합하여 초해상도 결과물의 인지적 품질을 크게 향상시켰습니다. 광범위한 실험을 통해 제안된 모델이 최근 최첨단 방법과 비교하여 우수한 효율성과 효과를 입증했습니다.

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.