Rivalutazione della fusione di immagini per la correzione del bilanciamento del bianco multi-illuminante

Revisiting Image Fusion for Multi-Illuminant White-Balance Correction

March 18, 2025

Autori: David Serrano-Lozano, Aditya Arora, Luis Herranz, Konstantinos G. Derpanis, Michael S. Brown, Javier Vazquez-Corral

cs.AI

Abstract

La correzione del bilanciamento del bianco (WB) in scene con più sorgenti luminose rimane una sfida persistente nel campo della visione artificiale. Metodi recenti hanno esplorato approcci basati sulla fusione, in cui una rete neurale combina linearmente più versioni sRGB di un'immagine di input, ciascuna elaborata con preset di WB predefiniti. Tuttavia, dimostriamo che questi metodi non sono ottimali per scenari comuni con più illuminanti. Inoltre, i metodi esistenti basati sulla fusione si affidano a dataset sRGB di WB che mancano di immagini dedicate a più illuminanti, limitando sia l'addestramento che la valutazione. Per affrontare queste sfide, introduciamo due contributi chiave. In primo luogo, proponiamo un modello efficiente basato su transformer che cattura efficacemente le dipendenze spaziali tra i preset sRGB di WB, migliorando sostanzialmente le tecniche di fusione lineare. In secondo luogo, introduciamo un dataset su larga scala di immagini con più illuminanti, comprendente oltre 16.000 immagini sRGB renderizzate con cinque diverse impostazioni di WB, insieme a immagini corrette per il WB. Il nostro metodo raggiunge un miglioramento fino al 100% rispetto alle tecniche esistenti sul nostro nuovo dataset di fusione di immagini con più illuminanti.

English

White balance (WB) correction in scenes with multiple illuminants remains a persistent challenge in computer vision. Recent methods explored fusion-based approaches, where a neural network linearly blends multiple sRGB versions of an input image, each processed with predefined WB presets. However, we demonstrate that these methods are suboptimal for common multi-illuminant scenarios. Additionally, existing fusion-based methods rely on sRGB WB datasets lacking dedicated multi-illuminant images, limiting both training and evaluation. To address these challenges, we introduce two key contributions. First, we propose an efficient transformer-based model that effectively captures spatial dependencies across sRGB WB presets, substantially improving upon linear fusion techniques. Second, we introduce a large-scale multi-illuminant dataset comprising over 16,000 sRGB images rendered with five different WB settings, along with WB-corrected images. Our method achieves up to 100\% improvement over existing techniques on our new multi-illuminant image fusion dataset.