EFFACER : Désapprentissage de caractères dans les modalités textuelles et visuelles

CLEAR: Character Unlearning in Textual and Visual Modalities

October 23, 2024

Auteurs: Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Résumé

Le Désapprentissage Automatique (DA) est essentiel pour améliorer la confidentialité et la sécurité dans les modèles d'apprentissage profond, en particulier dans les grands modèles de langage multimodaux (MLLMs), en supprimant des informations spécifiques privées ou dangereuses. Alors que le DA a réalisé des progrès significatifs dans les modalités textuelles et visuelles, le désapprentissage multimodal (DMM) reste largement inexploré, en partie en raison de l'absence d'un banc d'essai open source adapté. Pour remédier à cela, nous introduisons CLEAR, un nouveau banc d'essai conçu pour évaluer les méthodes de DMM. CLEAR contient 200 individus fictifs et 3 700 images liées à des paires question-réponse correspondantes, permettant une évaluation approfondie à travers les modalités. Nous évaluons 10 méthodes de DA, en les adaptant pour le DMM, et mettons en évidence de nouveaux défis spécifiques à l'oubli multimodal. Nous démontrons également que la simple régularisation ell_1 sur les poids LoRA atténue significativement l'oubli catastrophique, préservant les performances du modèle sur les données conservées. Le jeu de données est disponible sur https://huggingface.co/datasets/therem/CLEAR

English

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple ell_1 regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR