AdaIR: Adaptieve alles-in-één beeldherstel via frequentiedetectie en modulatie

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

Auteurs: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

Samenvatting

Bij het proces van beeldverwerving worden vaak verschillende vormen van degradatie geïntroduceerd, zoals ruis, waas en regen. Deze degradaties ontstaan doorgaans door de inherente beperkingen van camera's of ongunstige omgevingsomstandigheden. Om schone beelden te herstellen vanuit verslechterde versies, zijn tal van gespecialiseerde herstelmethoden ontwikkeld, elk gericht op een specifiek type degradatie. Onlangs hebben alles-in-één algoritmes aanzienlijke aandacht gekregen door verschillende soorten degradaties binnen één model aan te pakken zonder voorafgaande informatie over het type degradatie van de invoer te vereisen. Echter, deze methoden werken uitsluitend in het ruimtelijke domein en gaan niet in op de verschillende frequentievariaties die inherent zijn aan verschillende degradatietypes. Om deze lacune aan te pakken, stellen wij een adaptief alles-in-één beeldherstelnetwerk voor op basis van frequentie-analyse en modulatie. Onze aanpak is gemotiveerd door de observatie dat verschillende degradatietypes de beeldinhoud beïnvloeden op verschillende frequentie-subbanden, wat verschillende behandelingen vereist voor elk hersteltaken. Specifiek halen we eerst lage- en hoge-frequentie informatie uit de invoerkenmerken, geleid door de adaptief ontkoppelde spectra van het verslechterde beeld. De geëxtraheerde kenmerken worden vervolgens gemoduleerd door een bidirectionele operator om interacties tussen verschillende frequentiecomponenten te vergemakkelijken. Tenslotte worden de gemoduleerde kenmerken samengevoegd met de oorspronkelijke invoer voor een geleid herstelproces. Met deze aanpak bereikt het model adaptieve reconstructie door de informatieve frequentie-subbanden te benadrukken volgens verschillende invoer degradaties. Uitgebreide experimenten tonen aan dat de voorgestelde methode state-of-the-art prestaties behaalt op verschillende beeldhersteltaken, waaronder denoising, dehazing, deraining, motion deblurring en low-light beeldverbetering. Onze code is beschikbaar op https://github.com/c-yn/AdaIR.

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.