RobustFT: Addestramento Fine-tuning Robusto Supervisionato per Grandi Modelli Linguistici in Presenza di Risposte Rumorose

RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response

December 19, 2024

Autori: Junyu Luo, Xiao Luo, Kaize Ding, Jingyang Yuan, Zhiping Xiao, Ming Zhang

cs.AI

Abstract

Il fine-tuning supervisionato (SFT) svolge un ruolo cruciale nell'adattamento dei grandi modelli linguistici (LLM) a specifici domini o compiti. Tuttavia, come dimostrato da esperimenti empirici, i dati raccolti contengono inevitabilmente rumore nelle applicazioni pratiche, il che pone significativi ostacoli alle prestazioni del modello nei compiti successivi. Pertanto, c'è un urgente bisogno di un framework SFT robusto al rumore per potenziare le capacità del modello nei compiti successivi. Per affrontare questa sfida, introduciamo un framework SFT robusto (RobustFT) che esegue rilevamento del rumore e rietichettatura sui dati dei compiti successivi. Per l'identificazione del rumore, il nostro approccio impiega un sistema collaborativo multi-esperto con modelli potenziati dall'inferenza per ottenere un rilevamento del rumore superiore. Nella fase di denoising, utilizziamo una strategia potenziata dal contesto, che incorpora le conoscenze più rilevanti e sicure seguite da una valutazione attenta per generare annotazioni affidabili. Inoltre, introduciamo un efficace meccanismo di selezione dei dati basato sull'entropia di risposta, garantendo che siano conservati solo campioni di alta qualità per il fine-tuning. Estesi esperimenti condotti su diversi LLM su cinque set di dati dimostrano le eccezionali prestazioni di RobustFT in scenari rumorosi.

English

Supervised fine-tuning (SFT) plays a crucial role in adapting large language models (LLMs) to specific domains or tasks. However, as demonstrated by empirical experiments, the collected data inevitably contains noise in practical applications, which poses significant challenges to model performance on downstream tasks. Therefore, there is an urgent need for a noise-robust SFT framework to enhance model capabilities in downstream tasks. To address this challenge, we introduce a robust SFT framework (RobustFT) that performs noise detection and relabeling on downstream task data. For noise identification, our approach employs a multi-expert collaborative system with inference-enhanced models to achieve superior noise detection. In the denoising phase, we utilize a context-enhanced strategy, which incorporates the most relevant and confident knowledge followed by careful assessment to generate reliable annotations. Additionally, we introduce an effective data selection mechanism based on response entropy, ensuring only high-quality samples are retained for fine-tuning. Extensive experiments conducted on multiple LLMs across five datasets demonstrate RobustFT's exceptional performance in noisy scenarios.