확률적 단계 이미지 초해상도: 확산 역전

초록

본 연구는 확산 역전에 기반을 둔 새로운 이미지 초해상도(SR) 기술을 제시하며, 대규모 사전 훈련된 확산 모델에 포함된 풍부한 이미지 사전을 활용하여 SR 성능을 향상시키는 것을 목표로 합니다. 우리는 중간 상태인 확산 모델의 초기 샘플링 지점으로 작용하는 부분적 잡음 예측 전략을 설계했습니다. 우리 접근법의 핵심은 전방 확산 과정을 위한 최적의 잡음 맵을 추정하는 깊은 잡음 예측기입니다. 훈련을 마치면 이 잡음 예측기를 사용하여 확산 경로를 따라 일부분만 샘플링 프로세스를 초기화하여 원하는 고해상도 결과물을 생성할 수 있습니다. 기존 방법과 비교했을 때, 우리의 방법은 임의의 샘플링 단계(1에서 5까지)를 지원하는 유연하고 효율적인 샘플링 메커니즘을 제공합니다. 단일 샘플링 단계에서도 최근의 최첨단 기술에 우수하거나 비교 가능한 성능을 보여줍니다. 코드와 모델은 https://github.com/zsyOAOA/InvSR에서 공개적으로 제공됩니다.

English

This study presents a new image super-resolution (SR) technique based on diffusion inversion, aiming at harnessing the rich image priors encapsulated in large pre-trained diffusion models to improve SR performance. We design a Partial noise Prediction strategy to construct an intermediate state of the diffusion model, which serves as the starting sampling point. Central to our approach is a deep noise predictor to estimate the optimal noise maps for the forward diffusion process. Once trained, this noise predictor can be used to initialize the sampling process partially along the diffusion trajectory, generating the desirable high-resolution result. Compared to existing approaches, our method offers a flexible and efficient sampling mechanism that supports an arbitrary number of sampling steps, ranging from one to five. Even with a single sampling step, our method demonstrates superior or comparable performance to recent state-of-the-art approaches. The code and model are publicly available at https://github.com/zsyOAOA/InvSR.

확률적 단계 이미지 초해상도: 확산 역전

Arbitrary-steps Image Super-resolution via Diffusion Inversion

초록

Support