Gruppenrobustes Maschinelles Verlernen

Group-robust Machine Unlearning

March 12, 2025

Autoren: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

Zusammenfassung

Machine Unlearning ist ein aufstrebendes Paradigma, um den Einfluss spezifischer Trainingsdaten (d.h., der Vergessmenge) aus einem Modell zu entfernen, während das Wissen über den Rest der Daten (d.h., der Behaltmenge) bewahrt wird. Bisherige Ansätze gehen davon aus, dass die zu vergessenden Daten gleichmäßig über alle Trainingsdatenpunkte verteilt sind. Wenn die zu vergessenden Daten jedoch in einer Gruppe dominant sind, zeigen wir empirisch, dass die Leistung für diese Gruppe abnimmt, was zu Fairnessproblemen führt. Diese Arbeit behandelt das übersehene Problem nicht gleichmäßig verteilter Vergessmengen, das wir als gruppenrobustes Machine Unlearning bezeichnen, indem wir eine einfache, effektive Strategie vorstellen, die den Leistungsverlust in dominanten Gruppen durch eine Neugewichtung der Stichprobenverteilung mildert. Darüber hinaus präsentieren wir MIU (Mutual Information-aware Machine Unlearning), den ersten Ansatz für Gruppenrobustheit im approximativen Machine Unlearning. MIU minimiert die gegenseitige Information zwischen Modellmerkmalen und Gruppeninformationen, erreicht das Vergessen und reduziert gleichzeitig den Leistungsabfall in der dominanten Gruppe der Vergessmenge. Zusätzlich nutzt MIU die Neugewichtung der Stichprobenverteilung und die Kalibrierung der gegenseitigen Information mit dem ursprünglichen Modell, um die Gruppenrobustheit zu bewahren. Wir führen Experimente auf drei Datensätzen durch und zeigen, dass MIU Standardmethoden übertrifft und das Vergessen ohne Kompromisse bei der Modellrobustheit erreicht. Der Quellcode ist verfügbar unter https://github.com/tdemin16/group-robust_machine_unlearning.

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.