Neubewertung der Bildqualität in der Super-Resolution

Rethinking Image Evaluation in Super-Resolution

March 17, 2025

Autoren: Shaolin Su, Josep M. Rocafort, Danna Xue, David Serrano-Lozano, Lei Sun, Javier Vazquez-Corral

cs.AI

Zusammenfassung

Während die jüngsten Fortschritte in der Bildsuperauflösung (SR) kontinuierlich die wahrgenommene Qualität ihrer Ausgaben verbessern, können sie bei quantitativen Bewertungen oft versagen. Diese Inkonsistenz führt zu einem wachsenden Misstrauen gegenüber bestehenden Bildmetriken für SR-Bewertungen. Obwohl die Bildbewertung sowohl von der Metrik als auch von der Referenz-Ground-Truth (GT) abhängt, untersuchen Forscher typischerweise nicht die Rolle der GTs, da diese allgemein als „perfekte“ Referenzen akzeptiert werden. Aufgrund der Tatsache, dass die Daten in den frühen Jahren gesammelt wurden und andere Arten von Verzerrungen ignoriert wurden, weisen wir jedoch darauf hin, dass GTs in bestehenden SR-Datensätzen eine relativ schlechte Qualität aufweisen können, was zu verzerrten Bewertungen führt. Ausgehend von dieser Beobachtung interessieren wir uns in diesem Papier für die folgenden Fragen: Sind GT-Bilder in bestehenden SR-Datensätzen zu 100 % vertrauenswürdig für Modellbewertungen? Wie beeinflusst die GT-Qualität diese Bewertung? Und wie können faire Bewertungen vorgenommen werden, wenn unvollkommene GTs existieren? Um diese Fragen zu beantworten, präsentiert dieses Papier zwei Hauptbeiträge. Erstens zeigen wir durch eine systematische Analyse von sieben state-of-the-art SR-Modellen über drei realweltliche SR-Datensätze hinweg, dass SR-Leistungen konsistent durch GTs mit niedriger Qualität beeinflusst werden können und dass Modelle sich deutlich anders verhalten können, wenn die GT-Qualität kontrolliert wird. Zweitens schlagen wir eine neuartige wahrgenommene Qualitätsmetrik vor, den Relative Quality Index (RQI), der die relative Qualitätsdifferenz von Bildpaaren misst und somit die verzerrten Bewertungen, die durch unzuverlässige GTs verursacht werden, korrigiert. Unser vorgeschlagenes Modell erreicht eine deutlich bessere Übereinstimmung mit menschlichen Meinungen. Wir erwarten, dass unsere Arbeit der SR-Community Einblicke bietet, wie zukünftige Datensätze, Modelle und Metriken entwickelt werden sollten.

English

While recent advancing image super-resolution (SR) techniques are continually improving the perceptual quality of their outputs, they can usually fail in quantitative evaluations. This inconsistency leads to a growing distrust in existing image metrics for SR evaluations. Though image evaluation depends on both the metric and the reference ground truth (GT), researchers typically do not inspect the role of GTs, as they are generally accepted as `perfect' references. However, due to the data being collected in the early years and the ignorance of controlling other types of distortions, we point out that GTs in existing SR datasets can exhibit relatively poor quality, which leads to biased evaluations. Following this observation, in this paper, we are interested in the following questions: Are GT images in existing SR datasets 100% trustworthy for model evaluations? How does GT quality affect this evaluation? And how to make fair evaluations if there exist imperfect GTs? To answer these questions, this paper presents two main contributions. First, by systematically analyzing seven state-of-the-art SR models across three real-world SR datasets, we show that SR performances can be consistently affected across models by low-quality GTs, and models can perform quite differently when GT quality is controlled. Second, we propose a novel perceptual quality metric, Relative Quality Index (RQI), that measures the relative quality discrepancy of image pairs, thus issuing the biased evaluations caused by unreliable GTs. Our proposed model achieves significantly better consistency with human opinions. We expect our work to provide insights for the SR community on how future datasets, models, and metrics should be developed.