미세 조정을 넘어서: 임상 LLMs의 지속적인 사전 훈련의 잠재력 발휘

Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs

September 23, 2024

저자: Clément Christophe, Tathagata Raha, Svetlana Maslenkova, Muhammad Umar Salman, Praveen K Kanithi, Marco AF Pimentel, Shadab Khan

cs.AI

초록

대형 언어 모델 (LLMs)은 임상 응용 프로그램을 변형하는 데 상당한 잠재력을 보여주었습니다. 본 연구에서는 LLMs를 임상 사용 사례에 적응시키기 위한 네 가지 기술의 효과를 조사합니다: 연속 사전 훈련, 지시형 미세 조정, NEFTune 및 프롬프트 엔지니어링. 우리는 Mistral 7B 및 Mixtral 8x7B 모델에 이러한 방법을 적용하며, 500 억 개의 토큰으로 이루어진 대규모 임상 사전 훈련 데이터 세트와 5 억 개의 토큰으로 이루어진 지시형 미세 조정 데이터 세트를 활용합니다. 다양한 임상 작업을 통해 우리의 평가는 각 기술의 영향을 밝혀냅니다. 250 억 개의 토큰을 넘어서는 연속 사전 훈련은 그 자체로는 미미한 개선을 보이지만, 지시형 미세 조정을 위한 강력한 기반을 확립합니다. 특히, 주로 생성 품질을 향상시키기 위해 설계된 NEFTune은 우리의 벤치마크에서 추가적인 이득을 놀라게도 보여줍니다. 복잡한 프롬프트 엔지니어링 방법은 성능을 더욱 향상시킵니다. 이러한 발견은 미세 조정 전략을 맞춤화하고 임상 영역에서 LLM 성능을 최적화하기 위해 혁신적인 기술을 탐구하는 중요성을 보여줍니다.

English

Large Language Models (LLMs) have demonstrated significant potential in transforming clinical applications. In this study, we investigate the efficacy of four techniques in adapting LLMs for clinical use-cases: continuous pretraining, instruct fine-tuning, NEFTune, and prompt engineering. We employ these methods on Mistral 7B and Mixtral 8x7B models, leveraging a large-scale clinical pretraining dataset of 50 billion tokens and an instruct fine-tuning dataset of 500 million tokens. Our evaluation across various clinical tasks reveals the impact of each technique. While continuous pretraining beyond 250 billion tokens yields marginal improvements on its own, it establishes a strong foundation for instruct fine-tuning. Notably, NEFTune, designed primarily to enhance generation quality, surprisingly demonstrates additional gains on our benchmark. Complex prompt engineering methods further enhance performance. These findings show the importance of tailoring fine-tuning strategies and exploring innovative techniques to optimize LLM performance in the clinical domain.