Neubetrachtung der Bildfusion zur Korrektur des Weißabgleichs bei Mehrfachbeleuchtung

Revisiting Image Fusion for Multi-Illuminant White-Balance Correction

March 18, 2025

Autoren: David Serrano-Lozano, Aditya Arora, Luis Herranz, Konstantinos G. Derpanis, Michael S. Brown, Javier Vazquez-Corral

cs.AI

Zusammenfassung

Die Weißabgleichkorrektur (White Balance, WB) in Szenen mit mehreren Lichtquellen bleibt eine anhaltende Herausforderung in der Computer Vision. Neuere Methoden haben fusionbasierte Ansätze untersucht, bei denen ein neuronales Netzwerk mehrere sRGB-Versionen eines Eingabebildes linear kombiniert, die jeweils mit vordefinierten WB-Voreinstellungen verarbeitet wurden. Wir zeigen jedoch, dass diese Methoden für gängige Szenarien mit mehreren Lichtquellen suboptimal sind. Darüber hinaus stützen sich bestehende fusionbasierte Methoden auf sRGB-WB-Datensätze, denen spezielle Bilder mit mehreren Lichtquellen fehlen, was sowohl das Training als auch die Bewertung einschränkt. Um diese Herausforderungen zu bewältigen, führen wir zwei wesentliche Beiträge ein. Erstens schlagen wir ein effizientes, transformerbasiertes Modell vor, das räumliche Abhängigkeiten über sRGB-WB-Voreinstellungen effektiv erfasst und lineare Fusionstechniken erheblich verbessert. Zweitens stellen wir einen umfangreichen Datensatz mit mehreren Lichtquellen vor, der über 16.000 sRGB-Bilder umfasst, die mit fünf verschiedenen WB-Einstellungen gerendert wurden, sowie WB-korrigierte Bilder. Unsere Methode erzielt eine Verbesserung von bis zu 100 % gegenüber bestehenden Techniken auf unserem neuen Datensatz zur Fusion von Bildern mit mehreren Lichtquellen.

English

White balance (WB) correction in scenes with multiple illuminants remains a persistent challenge in computer vision. Recent methods explored fusion-based approaches, where a neural network linearly blends multiple sRGB versions of an input image, each processed with predefined WB presets. However, we demonstrate that these methods are suboptimal for common multi-illuminant scenarios. Additionally, existing fusion-based methods rely on sRGB WB datasets lacking dedicated multi-illuminant images, limiting both training and evaluation. To address these challenges, we introduce two key contributions. First, we propose an efficient transformer-based model that effectively captures spatial dependencies across sRGB WB presets, substantially improving upon linear fusion techniques. Second, we introduce a large-scale multi-illuminant dataset comprising over 16,000 sRGB images rendered with five different WB settings, along with WB-corrected images. Our method achieves up to 100\% improvement over existing techniques on our new multi-illuminant image fusion dataset.