ZJUKLAB bei SemEval-2025 Aufgabe 4: Verlernen durch Modellzusammenführung

ZJUKLAB at SemEval-2025 Task 4: Unlearning via Model Merging

March 27, 2025

Autoren: Haoming Xu, Shuxun Wang, Yanqiu Zhao, Yi Zhong, Ziyan Jiang, Ningyuan Zhao, Shumin Deng, Huajun Chen, Ningyu Zhang

cs.AI

Zusammenfassung

Dieses Papier präsentiert den Beitrag des ZJUKLAB-Teams für SemEval-2025 Task 4: Das Verlernen sensibler Inhalte aus großen Sprachmodellen. Diese Aufgabe zielt darauf ab, sensibles Wissen selektiv aus großen Sprachmodellen zu entfernen, wobei sowohl Über- als auch Unter-Verlernen vermieden werden sollen. Wir schlagen ein Verlernsystem vor, das Model Merging (insbesondere TIES-Merging) nutzt, um zwei spezialisierte Modelle zu einem ausgewogeneren verlernten Modell zu kombinieren. Unser System erzielt wettbewerbsfähige Ergebnisse und belegt den zweiten Platz unter 26 Teams, mit einer Online-Punktzahl von 0,944 für den Task Aggregate und 0,487 für den Gesamt-Aggregate. In diesem Papier führen wir auch lokale Experimente durch und analysieren den Verlernprozess umfassend, indem wir Leistungsverläufe, Verlustdynamiken und Gewichtsperspektiven untersuchen, sowie mehrere ergänzende Experimente durchführen, um die Effektivität unserer Methode zu verstehen. Darüber hinaus analysieren wir die Schwächen unserer Methode und der Bewertungsmetriken und betonen, dass MIA-Werte und ROUGE-basierte Metriken allein nicht ausreichen, um erfolgreiches Verlernen vollständig zu bewerten. Schließlich unterstreichen wir die Notwendigkeit umfassenderer Bewertungsmethoden und einer Neubewertung der Verlernziele in zukünftigen Forschungen. Der Code ist verfügbar unter https://github.com/zjunlp/unlearn/tree/main/semeval25.

English

This paper presents the ZJUKLAB team's submission for SemEval-2025 Task 4: Unlearning Sensitive Content from Large Language Models. This task aims to selectively erase sensitive knowledge from large language models, avoiding both over-forgetting and under-forgetting issues. We propose an unlearning system that leverages Model Merging (specifically TIES-Merging), combining two specialized models into a more balanced unlearned model. Our system achieves competitive results, ranking second among 26 teams, with an online score of 0.944 for Task Aggregate and 0.487 for overall Aggregate. In this paper, we also conduct local experiments and perform a comprehensive analysis of the unlearning process, examining performance trajectories, loss dynamics, and weight perspectives, along with several supplementary experiments, to understand the effectiveness of our method. Furthermore, we analyze the shortcomings of our method and evaluation metrics, emphasizing that MIA scores and ROUGE-based metrics alone are insufficient to fully evaluate successful unlearning. Finally, we emphasize the need for more comprehensive evaluation methodologies and rethinking of unlearning objectives in future research. Code is available at https://github.com/zjunlp/unlearn/tree/main/semeval25.