적응으로서의 노이즈 제거: 이미지 복원을 위한 노이즈-공간 도메인 적응

Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration

June 26, 2024

저자: Kang Liao, Zongsheng Yue, Zhouxia Wang, Chen Change Loy

cs.AI

초록

학습 기반 이미지 복원 방법은 상당한 진전을 이루었지만, 합성 데이터로 훈련되어 발생하는 심각한 도메인 갭으로 실제 세계 시나리오에 대한 한정된 일반화로 인해 여전히 어려움을 겪고 있습니다. 기존 방법은 데이터 합성 파이프라인 개선, 저하 커널 추정, 심층 내부 학습 적용, 도메인 적응 및 정규화를 통해 이 문제에 대처합니다. 이전 도메인 적응 방법은 특징 공간이나 픽셀 공간에서 도메인에 불변한 지식을 학습하여 도메인 갭을 줄이려고 했습니다. 그러나 이러한 기술은 종종 안정적이고 간결한 프레임워크 내에서 저수준 비전 작업으로 확장하는 데 어려움을 겪습니다. 본 논문에서는 확산 모델을 사용하여 잡음 공간을 통해 도메인 적응을 수행할 수 있다는 것을 보여줍니다. 특히, 보조 조건 입력이 다단계 제거 과정에 어떻게 영향을 미치는 독특한 특성을 활용하여, 복원 모델을 안내하는 의미 있는 확산 손실을 유도합니다. 이를 통해 복원된 합성 및 실제 세계 출력을 대상 깨끗한 분포에 점진적으로 일치시키는 방법을 제시합니다. 이 방법을 '적응으로의 제거'라고 합니다. 공동 훈련 중 단축키를 방지하기 위해 채널 섞기 레이어 및 잔차 교환 대조 학습과 같은 중요한 전략을 확산 모델에서 제시합니다. 이러한 전략은 조건이 붙은 합성 및 실제 데이터 사이의 경계를 흐리게 하고 모델이 쉽게 식별 가능한 특징에 의존하는 것을 방지합니다. 잡음 제거, 흐림 제거 및 비오는 것 제거와 같은 세 가지 고전적 이미지 복원 작업에 대한 실험 결과는 제안된 방법의 효과를 입증합니다.

English

Although learning-based image restoration methods have made significant progress, they still struggle with limited generalization to real-world scenarios due to the substantial domain gap caused by training on synthetic data. Existing methods address this issue by improving data synthesis pipelines, estimating degradation kernels, employing deep internal learning, and performing domain adaptation and regularization. Previous domain adaptation methods have sought to bridge the domain gap by learning domain-invariant knowledge in either feature or pixel space. However, these techniques often struggle to extend to low-level vision tasks within a stable and compact framework. In this paper, we show that it is possible to perform domain adaptation via the noise space using diffusion models. In particular, by leveraging the unique property of how auxiliary conditional inputs influence the multi-step denoising process, we derive a meaningful diffusion loss that guides the restoration model in progressively aligning both restored synthetic and real-world outputs with a target clean distribution. We refer to this method as denoising as adaptation. To prevent shortcuts during joint training, we present crucial strategies such as channel-shuffling layer and residual-swapping contrastive learning in the diffusion model. They implicitly blur the boundaries between conditioned synthetic and real data and prevent the reliance of the model on easily distinguishable features. Experimental results on three classical image restoration tasks, namely denoising, deblurring, and deraining, demonstrate the effectiveness of the proposed method.