RobustFT: 소음이 있는 응답 하에서 대규모 언어 모델을 위한 견고한 지도 학습 미세 조정

초록

지도 미세 조정(Supervised fine-tuning, SFT)은 대규모 언어 모델(Large Language Models, LLMs)을 특정 도메인이나 작업에 적응시키는 데 중요한 역할을 합니다. 그러나 경험적 실험에서 나타난 바와 같이, 실제 응용 프로그램에서 수집된 데이터에는 불가피하게 잡음이 포함되어 있어 이는 하류 작업에서 모델 성능에 상당한 어려움을 일으킵니다. 따라서 하류 작업에서 모델 능력을 향상시키기 위해 잡음에 강건한 SFT 프레임워크가 긴요합니다. 이러한 도전에 대처하기 위해, 우리는 하류 작업 데이터에서 잡음 탐지와 재레이블링을 수행하는 강건한 SFT 프레임워크(RobustFT)를 소개합니다. 잡음 식별을 위해 우리의 방법론은 추론 강화 모델을 활용한 다중 전문가 협업 시스템을 채택하여 우수한 잡음 탐지를 달성합니다. 소음 제거 단계에서는 가장 관련성이 높고 확신이 있는 지식을 통합한 문맥 강화 전략을 활용하고, 신뢰할 수 있는 주석을 생성하기 위해 신중한 평가를 수행합니다. 더불어, 반응 엔트로피를 기반으로 한 효과적인 데이터 선택 메커니즘을 소개하여 미세 조정을 위해 고품질 샘플만 유지되도록 합니다. 다섯 개의 데이터셋에서 수행된 다양한 실험은 RobustFT가 소음이 있는 시나리오에서 우수한 성능을 보여주는 것을 입증합니다.

English

Supervised fine-tuning (SFT) plays a crucial role in adapting large language models (LLMs) to specific domains or tasks. However, as demonstrated by empirical experiments, the collected data inevitably contains noise in practical applications, which poses significant challenges to model performance on downstream tasks. Therefore, there is an urgent need for a noise-robust SFT framework to enhance model capabilities in downstream tasks. To address this challenge, we introduce a robust SFT framework (RobustFT) that performs noise detection and relabeling on downstream task data. For noise identification, our approach employs a multi-expert collaborative system with inference-enhanced models to achieve superior noise detection. In the denoising phase, we utilize a context-enhanced strategy, which incorporates the most relevant and confident knowledge followed by careful assessment to generate reliable annotations. Additionally, we introduce an effective data selection mechanism based on response entropy, ensuring only high-quality samples are retained for fine-tuning. Extensive experiments conducted on multiple LLMs across five datasets demonstrate RobustFT's exceptional performance in noisy scenarios.

RobustFT: 소음이 있는 응답 하에서 대규모 언어 모델을 위한 견고한 지도 학습 미세 조정

RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response

초록

Support