RobustFT: Ajuste Fino Supervisionado Robusto para Modelos de Linguagem Grandes sob Resposta Ruidosa

RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response

December 19, 2024

Autores: Junyu Luo, Xiao Luo, Kaize Ding, Jingyang Yuan, Zhiping Xiao, Ming Zhang

cs.AI

Resumo

A afinação fina supervisionada (SFT) desempenha um papel crucial na adaptação de grandes modelos de linguagem (LLMs) a domínios ou tarefas específicas. No entanto, como demonstrado por experimentos empíricos, os dados coletados inevitavelmente contêm ruído em aplicações práticas, o que representa desafios significativos para o desempenho do modelo em tarefas subsequentes. Portanto, há uma necessidade urgente de um framework de SFT robusto ao ruído para aprimorar as capacidades do modelo em tarefas subsequentes. Para enfrentar esse desafio, introduzimos um framework robusto de SFT (RobustFT) que realiza detecção e rotulagem de ruído nos dados da tarefa subsequente. Para identificação de ruído, nossa abordagem emprega um sistema colaborativo multi-especialista com modelos aprimorados por inferência para alcançar uma detecção de ruído superior. Na fase de remoção de ruído, utilizamos uma estratégia aprimorada por contexto, que incorpora o conhecimento mais relevante e confiante seguido por uma avaliação cuidadosa para gerar anotações confiáveis. Além disso, introduzimos um mecanismo eficaz de seleção de dados com base na entropia de resposta, garantindo que apenas amostras de alta qualidade sejam retidas para a afinação fina. Experimentos extensivos realizados em vários LLMs em cinco conjuntos de dados demonstram o desempenho excepcional do RobustFT em cenários ruidosos.

English

Supervised fine-tuning (SFT) plays a crucial role in adapting large language models (LLMs) to specific domains or tasks. However, as demonstrated by empirical experiments, the collected data inevitably contains noise in practical applications, which poses significant challenges to model performance on downstream tasks. Therefore, there is an urgent need for a noise-robust SFT framework to enhance model capabilities in downstream tasks. To address this challenge, we introduce a robust SFT framework (RobustFT) that performs noise detection and relabeling on downstream task data. For noise identification, our approach employs a multi-expert collaborative system with inference-enhanced models to achieve superior noise detection. In the denoising phase, we utilize a context-enhanced strategy, which incorporates the most relevant and confident knowledge followed by careful assessment to generate reliable annotations. Additionally, we introduce an effective data selection mechanism based on response entropy, ensuring only high-quality samples are retained for fine-tuning. Extensive experiments conducted on multiple LLMs across five datasets demonstrate RobustFT's exceptional performance in noisy scenarios.