Ripristino Immagine Adattivo Cieco All-in-One

Adaptive Blind All-in-One Image Restoration

November 27, 2024

Autori: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

Abstract

I modelli ciechi di ripristino di immagini all-in-one mirano a recuperare un'immagine di alta qualità da un input degradato con distorsioni sconosciute. Tuttavia, questi modelli richiedono che tutti i possibili tipi di degrado siano definiti durante la fase di addestramento, mostrando una limitata generalizzazione alle distorsioni non viste, il che limita la loro applicazione pratica in casi complessi. In questo articolo, proponiamo un modello di ripristino cieco all-in-one adattivo (ABAIR) semplice ma efficace, che può affrontare molteplici degradazioni, generalizzando bene alle distorsioni non viste e incorporando efficientemente nuove degradazioni addestrando una piccola frazione di parametri. Prima, addestriamo il nostro modello di base su un ampio dataset di immagini naturali con molteplici degradazioni sintetiche, arricchite con un segmentatore per stimare i tipi di degrado per pixel, ottenendo così una potente struttura di base in grado di generalizzare a una vasta gamma di degradazioni. Secondo, adattiamo il nostro modello di base a varie attività di ripristino di immagini utilizzando adattatori indipendenti a basso rango. Terzo, impariamo a combinare in modo adattivo gli adattatori per immagini versatili tramite un estimatore di degrado flessibile e leggero. Il nostro modello è potente nel gestire distorsioni specifiche e flessibile nell'adattarsi a compiti complessi, superando di gran lunga lo stato dell'arte su configurazioni IR a cinque e tre attività, mostrando anche una migliorata generalizzazione alle distorsioni non viste e alle distorsioni composite.

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.