Attention IoU: Analisi dei Bias in CelebA Utilizzando Mappe di Attenzione

Attention IoU: Examining Biases in CelebA using Attention Maps

March 25, 2025

Autori: Aaron Serianni, Tyler Zhu, Olga Russakovsky, Vikram V. Ramaswamy

cs.AI

Abstract

È stato dimostrato che i modelli di computer vision manifestano e amplificano i bias su un'ampia gamma di dataset e task. I metodi esistenti per quantificare i bias nei modelli di classificazione si concentrano principalmente sulla distribuzione del dataset e sulle prestazioni del modello sui sottogruppi, trascurando il funzionamento interno del modello. Introduciamo la metrica Attention-IoU (Attention Intersection over Union) e i punteggi correlati, che utilizzano le mappe di attenzione per rivelare i bias all'interno delle rappresentazioni interne di un modello e identificare le caratteristiche delle immagini che potrebbero causare i bias. In primo luogo, validiamo Attention-IoU sul dataset sintetico Waterbirds, dimostrando che la metrica misura accuratamente i bias del modello. Successivamente, analizziamo il dataset CelebA, scoprendo che Attention-IoU rivela correlazioni che vanno oltre le disparità di accuratezza. Attraverso un'indagine sugli attributi individuali tramite l'attributo protetto "Maschio", esaminiamo i diversi modi in cui i bias sono rappresentati in CelebA. Infine, sottocampionando il training set per modificare le correlazioni degli attributi, dimostriamo che Attention-IoU rivela potenziali variabili confondenti non presenti nelle etichette del dataset.

English

Computer vision models have been shown to exhibit and amplify biases across a wide array of datasets and tasks. Existing methods for quantifying bias in classification models primarily focus on dataset distribution and model performance on subgroups, overlooking the internal workings of a model. We introduce the Attention-IoU (Attention Intersection over Union) metric and related scores, which use attention maps to reveal biases within a model's internal representations and identify image features potentially causing the biases. First, we validate Attention-IoU on the synthetic Waterbirds dataset, showing that the metric accurately measures model bias. We then analyze the CelebA dataset, finding that Attention-IoU uncovers correlations beyond accuracy disparities. Through an investigation of individual attributes through the protected attribute of Male, we examine the distinct ways biases are represented in CelebA. Lastly, by subsampling the training set to change attribute correlations, we demonstrate that Attention-IoU reveals potential confounding variables not present in dataset labels.