PULITO: Eliminazione di Caratteri nelle Modalità Testuale e Visiva

CLEAR: Character Unlearning in Textual and Visual Modalities

October 23, 2024

Autori: Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Abstract

Il Machine Unlearning (MU) è fondamentale per migliorare la privacy e la sicurezza nei modelli di deep learning, in particolare nei grandi modelli di linguaggio multimodali (MLLM), rimuovendo informazioni specifiche private o pericolose. Mentre il MU ha fatto progressi significativi nelle modalità testuale e visiva, l'unlearning multimodale (MMU) rimane notevolmente inesplorato, in parte a causa dell'assenza di un adeguato benchmark open-source. Per affrontare questo problema, presentiamo CLEAR, un nuovo benchmark progettato per valutare i metodi MMU. CLEAR contiene 200 individui finti e 3.700 immagini collegate a coppie di domande e risposte corrispondenti, consentendo una valutazione approfondita tra modalità diverse. Valutiamo 10 metodi MU, adattandoli per il MMU, e evidenziamo nuove sfide specifiche legate all'oblio multimodale. Dimostriamo inoltre che una semplice regolarizzazione ell_1 sui pesi LoRA mitiga significativamente l'oblio catastrofico, preservando le prestazioni del modello sui dati trattenuti. Il dataset è disponibile su https://huggingface.co/datasets/therem/CLEAR.

English

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple ell_1 regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR