PAFT: 프롬프트 독립적 미세 조정

초록

대규모 언어 모델(LLMs)은 미세 조정 후 하위 작업에 잘 적응하지만, 이러한 적응성은 종종 프롬프트 강건성을 저해합니다. 사소한 프롬프트 변동만으로도 성능이 크게 저하될 수 있기 때문입니다. 이를 해결하기 위해, 우리는 미세 조정 중에 프롬프트를 동적으로 조정하는 간단하면서도 효과적인 접근 방식인 프롬프트-불가지론적 미세 조정(Prompt-Agnostic Fine-Tuning, PAFT)을 제안합니다. 이 방법은 모델이 특정 프롬프트 표현에 과적합되는 대신, 기본 작업 원리를 학습하도록 장려합니다. PAFT는 두 단계로 진행됩니다: 첫째, 다양한 의미 있는 합성 후보 프롬프트 집합을 구성합니다. 둘째, 미세 조정 중에 이 집합에서 무작위로 프롬프트를 샘플링하여 동적 학습 입력을 생성합니다. 다양한 데이터셋과 LLMs에 걸친 광범위한 실험을 통해, PAFT로 훈련된 모델이 보이지 않은 프롬프트를 포함한 다양한 프롬프트에서 강력한 강건성과 일반화 능력을 보이는 것을 입증했습니다. 이러한 강건성 향상은 모델 성능과 추론 속도를 모두 개선하면서도 훈련 효율성을 유지합니다. 추가적인 절제 연구는 PAFT의 효과를 더욱 확인시켜 줍니다.

English

While Large Language Models (LLMs) adapt well to downstream tasks after fine-tuning, this adaptability often compromises prompt robustness, as even minor prompt variations can significantly degrade performance. To address this, we propose Prompt-Agnostic Fine-Tuning(PAFT), a simple yet effective approach that dynamically adjusts prompts during fine-tuning. This encourages the model to learn underlying task principles rather than overfitting to specific prompt formulations. PAFT operates in two stages: First, a diverse set of meaningful, synthetic candidate prompts is constructed. Second, during fine-tuning, prompts are randomly sampled from this set to create dynamic training inputs. Extensive experiments across diverse datasets and LLMs demonstrate that models trained with PAFT exhibit strong robustness and generalization across a wide range of prompts, including unseen ones. This enhanced robustness improves both model performance and inference speed while maintaining training efficiency. Ablation studies further confirm the effectiveness of PAFT.

PAFT: 프롬프트 독립적 미세 조정

PAFT: Prompt-Agnostic Fine-Tuning

초록

Summary

Support