대규모 언어 모델에서 일반화를 위한 선택적인 자가-지도 미세 조정

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

저자: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

초록

특정 데이터셋에서 대규모 언어 모델(LLMs)을 세밀 조정하는 것은 목표 작업의 성능을 향상시키기 위한 일반적인 실천법입니다. 그러나 이러한 성능 향상은 종종 오버피팅으로 이어지며, 모델이 작업이나 훈련 데이터의 특성 중 어느 하나에 지나치게 특화되어 일반화 능력을 상실하는 결과를 초래합니다. 본 논문에서는 표준 지도 학습 세밀 조정(SFT)보다 더 나은 성능을 달성하면서 일반화를 향상시키는 세렉티브 셀프 투 지도 세밀 조정(S3FT) 방법을 소개합니다. S3FT는 쿼리에 대해 여러 유효한 응답이 존재한다는 점을 활용합니다. 모델의 올바른 응답을 활용함으로써 S3FT는 세밀 조정 단계에서 모델의 특화를 줄입니다. S3FT는 먼저 적절한 심사관을 배치하여 훈련 세트에서 올바른 모델 응답을 식별합니다. 그런 다음, 남은 샘플에 대해 올바른 모델 응답과 골드 응답(또는 그의 패러프레이즈)을 사용하여 모델을 세밀 조정합니다. S3FT의 효과는 수학적 추론, Python 프로그래밍 및 독해 작업에 대한 실험을 통해 입증됩니다. 결과는 MMLU 및 TruthfulQA와 같은 여러 벤치마크에서 표준 SFT가 평균 성능 하락률 최대 4.4를 유발할 수 있음을 보여줍니다. 이에 반해, S3FT는 이 하락을 절반으로 줄여 2.5로, SFT보다 더 나은 일반화 능력을 나타내면서 세밀 조정 작업에서 현저히 우수한 성능을 발휘합니다.

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.