AdaIR: Adaptive All-in-One Bildwiederherstellung durch Frequenzanalyse und Modulation

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

Autoren: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

Zusammenfassung

Im Bildaufnahmeprozess werden häufig verschiedene Formen der Degradierung, einschließlich Rauschen, Dunst und Regen, eingeführt. Diese Degradierungen entstehen typischerweise aus den inhärenten Einschränkungen von Kameras oder ungünstigen Umgebungsbedingungen. Um saubere Bilder aus degradierten Versionen wiederherzustellen, wurden zahlreiche spezialisierte Restaurierungsmethoden entwickelt, die jeweils auf einen bestimmten Typ von Degradierung abzielen. In letzter Zeit haben All-in-One-Algorithmen erhebliche Aufmerksamkeit erregt, indem sie verschiedene Arten von Degradierungen innerhalb eines einzigen Modells behandeln, ohne vorherige Informationen über den Eingabetyp der Degradierung zu benötigen. Diese Methoden arbeiten jedoch ausschließlich im Ortsbereich und gehen nicht auf die unterschiedlichen Frequenzvariationen ein, die verschiedenen Degradierungstypen innewohnen. Um diese Lücke zu schließen, schlagen wir ein adaptives All-in-One-Bildrestaurierungsnetzwerk auf der Grundlage von Frequenzanalyse und Modulation vor. Unser Ansatz wird durch die Beobachtung motiviert, dass verschiedene Degradierungstypen den Bildinhalt in verschiedenen Frequenzunterbändern beeinflussen, was unterschiedliche Behandlungen für jede Restaurierungsaufgabe erfordert. Konkret extrahieren wir zunächst Nieder- und Hochfrequenzinformationen aus den Eingabemerkmale, geleitet durch die adaptiv entkoppelten Spektren des degradierten Bildes. Die extrahierten Merkmale werden dann von einem bidirektionalen Operator moduliert, um Interaktionen zwischen verschiedenen Frequenzkomponenten zu erleichtern. Schließlich werden die modulierten Merkmale in die ursprüngliche Eingabe für eine progressiv geführte Restaurierung zusammengeführt. Mit diesem Ansatz erreicht das Modell eine adaptive Rekonstruktion, indem es die informativen Frequenzunterbänder je nach verschiedenen Eingabedegradierungen betont. Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode eine Spitzenleistung bei verschiedenen Bildrestaurierungsaufgaben wie Rauschunterdrückung, Dunstentfernung, Regenentfernung, Bewegungsunschärfe und Aufhellung bei schwachem Licht erzielt. Unser Code ist verfügbar unter https://github.com/c-yn/AdaIR.

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.