적응형 블라인드 올인원 이미지 복원

Adaptive Blind All-in-One Image Restoration

November 27, 2024

저자: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

초록

맹목형 올인원 이미지 복원 모델은 알려지지 않은 왜곡으로 손상된 입력에서 고품질 이미지를 복구하는 것을 목표로 합니다. 그러나 이러한 모델은 훈련 단계에서 모든 가능한 왜곡 유형이 정의되어야 하며, 보이지 않는 왜곡에 대한 한정된 일반화를 보여 복잡한 경우에는 실용적인 응용이 제한됩니다. 본 논문에서는 간단하지만 효과적인 적응형 맹목형 올인원 복원(ABAIR) 모델을 제안합니다. 이 모델은 여러 왜곡을 처리할 수 있으며 보이지 않는 왜곡에 대해 잘 일반화되며 새로운 왜곡을 효율적으로 통합할 수 있습니다. 먼저, 우리는 기본 모델을 자연 이미지의 대규모 데이터셋에서 학습하고, 여러 가짜 왜곡으로 증강된 세그멘테이션 헤드를 추가하여 픽셀 단위의 왜곡 유형을 추정하여 다양한 왜곡에 일반화할 수 있는 강력한 백본을 얻습니다. 둘째, 우리는 기본 모델을 독립적인 저랭크 어댑터를 사용하여 다양한 이미지 복원 작업에 적응시킵니다. 셋째, 유연하고 가벼운 왜곡 추정기를 통해 다양한 이미지에 어댑터를 적응적으로 결합하는 방법을 학습합니다. 우리의 모델은 특정 왜곡을 처리하는 데 강력하면서도 복잡한 작업에 적응하는 데 유연합니다. 이 모델은 5개 및 3개 작업 IR 설정에서 최첨단 기술을 크게 능가할 뿐만 아니라 보이지 않는 왜곡 및 복합 왜곡에 대한 일반화도 향상되었습니다.

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.