KLAR: Zeichenverlernen in textuellen und visuellen Modalitäten

CLEAR: Character Unlearning in Textual and Visual Modalities

October 23, 2024

Autoren: Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Zusammenfassung

Das Maschinelles Vergessen (MU) ist entscheidend zur Verbesserung von Datenschutz und Sicherheit in Deep-Learning-Modellen, insbesondere in großen multimodalen Sprachmodellen (MLLMs), durch Entfernen spezifischer privater oder gefährlicher Informationen. Während MU in textuellen und visuellen Modalitäten signifikante Fortschritte gemacht hat, bleibt multimodales Vergessen (MMU) weitgehend unerforscht, teilweise aufgrund des Mangels an einem geeigneten Open-Source-Benchmark. Um dies zu lösen, stellen wir CLEAR vor, einen neuen Benchmark, der entwickelt wurde, um MMU-Methoden zu bewerten. CLEAR enthält 200 fiktive Personen und 3.700 Bilder, die mit entsprechenden Frage-Antwort-Paaren verknüpft sind, was eine gründliche Bewertung über Modalitäten hinweg ermöglicht. Wir bewerten 10 MU-Methoden, indem wir sie für MMU anpassen, und heben neue Herausforderungen hervor, die spezifisch für multimodales Vergessen sind. Wir zeigen auch, dass einfache ell_1-Regularisierung auf LoRA-Gewichten das katastrophale Vergessen signifikant mildert und die Modellleistung auf den behaltenen Daten bewahrt. Der Datensatz ist verfügbar unter https://huggingface.co/datasets/therem/CLEAR.

English

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple ell_1 regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR