Proteger LLMs Ajustados Fino por meio da Fusão de Modelos Pré e Pós-Ajuste.

Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging

December 27, 2024

Autores: Hua Farn, Hsuan Su, Shachi H Kumar, Saurav Sahay, Shang-Tse Chen, Hung-yi Lee

cs.AI

Resumo

A afinação de grandes modelos de linguagem (LLMs) para tarefas secundárias é uma abordagem amplamente adotada, mas frequentemente resulta em degradação de segurança em LLMs alinhados com a segurança. Atualmente, muitas soluções abordam esse problema incorporando dados de segurança adicionais, o que pode ser impraticável em muitos casos. Neste artigo, abordamos a questão: Como podemos melhorar o desempenho da tarefa secundária enquanto preservamos a segurança nos LLMs sem depender de dados de segurança adicionais? Propomos um método simples e eficaz que mantém a segurança inerente dos LLMs enquanto aprimora o desempenho de suas tarefas secundárias: fundir os pesos dos modelos alinhados com a segurança pré e pós-afinação. Resultados experimentais em várias tarefas secundárias, modelos e métodos de fusão demonstram que essa abordagem mitiga efetivamente a degradação de segurança enquanto melhora o desempenho da tarefa secundária, oferecendo uma solução prática para adaptar LLMs alinhados com a segurança.

English

Fine-tuning large language models (LLMs) for downstream tasks is a widely adopted approach, but it often leads to safety degradation in safety-aligned LLMs. Currently, many solutions address this issue by incorporating additional safety data, which can be impractical in many cases. In this paper, we address the question: How can we improve downstream task performance while preserving safety in LLMs without relying on additional safety data? We propose a simple and effective method that maintains the inherent safety of LLMs while enhancing their downstream task performance: merging the weights of pre- and post-fine-tuned safety-aligned models. Experimental results across various downstream tasks, models, and merging methods demonstrate that this approach effectively mitigates safety degradation while improving downstream task performance, offering a practical solution for adapting safety-aligned LLMs.