AdaIR: 주파수 채굴과 변조를 통한 적응형 올인원 이미지 복원

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

저자: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

초록

이미지 획득 과정에서는 잡음, 안개, 비 등 다양한 형태의 저하가 빈번히 발생합니다. 이러한 저하는 일반적으로 카메라의 내재적 한계나 불리한 주변 조건에서 비롯됩니다. 저하된 버전에서 깨끗한 이미지를 복원하기 위해 여러 특화된 복원 방법이 개발되었는데, 각각은 특정 유형의 저하를 대상으로 합니다. 최근에는 모든 유형의 저하를 하나의 모델 내에서 다루어 입력 저하 유형의 사전 정보가 필요하지 않도록 하는 올인원 알고리즘들이 큰 관심을 받고 있습니다. 그러나 이러한 방법들은 순전히 공간 영역에서만 작동하며 다른 저하 유형에 내재된 고유한 주파수 변동에 대해 탐구하지 않습니다. 이 간극을 해결하기 위해 주파수 채굴과 변조에 기반한 적응형 올인원 이미지 복원 네트워크를 제안합니다. 우리의 접근 방식은 서로 다른 저하 유형이 이미지 콘텐츠에 서로 다른 주파수 서브밴드에 영향을 미치므로 각 복원 작업에 대해 다른 처리가 필요하다는 관찰에서 출발합니다. 구체적으로, 먼저 저하된 이미지의 적응적으로 분리된 스펙트라에 안내되는 입력 특징에서 저주파 및 고주파 정보를 채굴합니다. 추출된 특징은 다른 주파수 구성 요소 간의 상호 작용을 용이하게 하기 위해 양방향 연산자에 의해 변조됩니다. 마지막으로, 변조된 특징은 원래 입력에 병합되어 점진적으로 안내되는 복원이 이루어집니다. 이 접근 방식을 통해 모델은 다른 입력 저하에 따라 정보 전달 주파수 서브밴드를 강조함으로써 적응적 재구성을 달성합니다. 광범위한 실험을 통해 제안된 방법이 소음 제거, 안개 제거, 비 제거, 모션 흐림 제거 및 저조도 이미지 향상을 포함한 다양한 이미지 복원 작업에서 최첨단 성능을 달성한다는 것을 입증합니다. 우리의 코드는 https://github.com/c-yn/AdaIR에서 사용할 수 있습니다.

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.