텍스트 및 시각적 양식에서의 CLEAR: 문자 미학습

초록

기계 언러닝(Machine Unlearning, MU)은 특히 대규모 다중모달 언어 모델(Multimodal Language Models, MLLMs)에서 특정 개인 정보나 위험 정보를 제거하여 개인 정보 보호와 보안을 향상시키는 데 중요합니다. 텍스트 및 시각 모달에서 MU가 상당한 진전을 이루었지만, 다중모달 언러닝(Multimodal Unlearning, MMU)은 여전히 적절한 오픈 소스 벤치마크의 부재로 인해 크게 탐구되지 않았습니다. 이를 해결하기 위해 MMU 방법을 평가하기 위해 설계된 새로운 벤치마크인 CLEAR를 소개합니다. CLEAR에는 200명의 가상 인물과 해당 질문-답변 쌍과 연결된 3,700개의 이미지가 포함되어 다중 모달 간 철저한 평가가 가능합니다. 우리는 10가지 MU 방법을 MMU에 맞게 적용하고, 다중모달 잊기에 특화된 새로운 도전 과제를 강조합니다. 또한 LoRA 가중치에 대한 간단한 ell_1 정규화가 잊기의 치명적인 영향을 상당히 완화시키고 유지된 데이터에 대한 모델 성능을 보존하는 것을 시연합니다. 데이터셋은 https://huggingface.co/datasets/therem/CLEAR에서 이용 가능합니다.

English

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple ell_1 regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR

텍스트 및 시각적 양식에서의 CLEAR: 문자 미학습

CLEAR: Character Unlearning in Textual and Visual Modalities

초록

Summary

Support