Adaptive Blind All-in-One Bildwiederherstellung

Adaptive Blind All-in-One Image Restoration

November 27, 2024

Autoren: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

Zusammenfassung

Blind All-in-One-Modelle zur Bildrestaurierung zielen darauf ab, ein qualitativ hochwertiges Bild aus einem Eingang wiederherzustellen, das mit unbekannten Verzerrungen beeinträchtigt ist. Diese Modelle erfordern jedoch, dass alle möglichen Arten von Verzerrungen während der Trainingsphase definiert werden, zeigen jedoch eine begrenzte Verallgemeinerung auf nicht gesehene Verzerrungen, was ihre praktische Anwendung in komplexen Fällen einschränkt. In diesem Artikel schlagen wir ein einfaches, aber effektives adaptives Blind All-in-One-Restaurierungsmodell (ABAIR) vor, das mehrere Verzerrungen bewältigen kann, gut auf nicht gesehene Verzerrungen verallgemeinert und effizient neue Verzerrungen durch das Training eines kleinen Teils der Parameter integrieren kann. Zuerst trainieren wir unser Basismodell auf einem großen Datensatz natürlicher Bilder mit mehreren synthetischen Verzerrungen, ergänzt um einen Segmentierungskopf zur Schätzung von Verzerrungstypen pro Pixel, was zu einem leistungsstarken Rückgrat führt, das sich auf eine breite Palette von Verzerrungen verallgemeinern kann. Zweitens passen wir unser Basismodell an verschiedene Bildwiederherstellungsaufgaben an, indem wir unabhängige Low-Rank-Adapter verwenden. Drittens lernen wir, Adapter adaptiv zu kombinieren, um vielseitige Bilder über einen flexiblen und leichten Verzerrungsschätzer anzupassen. Unser Modell ist sowohl leistungsstark im Umgang mit spezifischen Verzerrungen als auch flexibel bei der Anpassung an komplexe Aufgaben. Es übertrifft nicht nur den Stand der Technik bei Fünf- und Drei-Aufgaben-IR-Setups bei weitem, sondern zeigt auch eine verbesserte Verallgemeinerung auf nicht gesehene Verzerrungen und auch zusammengesetzte Verzerrungen.

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.