DUIDELIJK: Karakter Vergeten in Tekstuele en Visuele Modaliteiten

CLEAR: Character Unlearning in Textual and Visual Modalities

October 23, 2024

Auteurs: Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Samenvatting

Machine Unlearning (MU) is cruciaal voor het verbeteren van privacy en beveiliging in diepe leermodellen, met name in grote multimodale taalmodellen (MLLM's), door specifieke privé- of gevaarlijke informatie te verwijderen. Hoewel MU aanzienlijke vooruitgang heeft geboekt in tekstuele en visuele modaliteiten, blijft multimodaal vergeten (MMU) aanzienlijk onderbelicht, gedeeltelijk door het ontbreken van een geschikte open-source benchmark. Om dit aan te pakken, introduceren we CLEAR, een nieuwe benchmark ontworpen om MMU-methoden te evalueren. CLEAR bevat 200 fictieve individuen en 3,700 afbeeldingen gekoppeld aan bijbehorende vraag-antwoordparen, waardoor een grondige evaluatie over modaliteiten mogelijk is. We beoordelen 10 MU-methoden, passen ze aan voor MMU, en benadrukken nieuwe uitdagingen die specifiek zijn voor multimodaal vergeten. We tonen ook aan dat eenvoudige ell_1-regularisatie op LoRA-gewichten aanzienlijk catastrofaal vergeten vermindert, waardoor de modelprestaties op behouden gegevens behouden blijven. De dataset is beschikbaar op https://huggingface.co/datasets/therem/CLEAR

English

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple ell_1 regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR