열린 레시피: 언어별 LLMs를 추론 모델로 하루 만에 모델 병합을 통해 적응하기

An Open Recipe: Adapting Language-Specific LLMs to a Reasoning Model in One Day via Model Merging

February 13, 2025

저자: Kunat Pipatanakul, Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai

cs.AI

초록

본 논문은 DeepSeek R1과 같은 고급 추론 능력을 언어별 대규모 언어 모델(LLMs)에 통합하기 위한 데이터 선택 및 모델 병합 방법론을 조사합니다. 특히 태국어 LLM에 초점을 맞추었습니다. 우리의 목표는 언어별 LLM의 추론 능력을 향상시키면서 해당 언어 능력을 유지하는 것입니다. DeepSeek R1은 추론에서 뛰어나지만 주로 영어 및 중국어와 같은 고자원 언어에 이점을 줍니다. 그러나 영어 중심의 훈련 데이터와 모델 최적화로 인해 저자원 언어는 미지원 상태에 머물러 있어 이러한 언어에서 성능을 제한합니다. 이 제한으로 신뢰할 수 없는 코드 스위칭과 저자원 언어의 작업에서 효과가 저하됩니다. 한편 지역 및 지역별 LLM 계획은 지역 언어 충실도를 향상시키는 데 초점을 맞춘 언어별 LLM을 개발하여 이 간극을 줄이려 노력해왔습니다. 우리는 공개 데이터셋과 120달러의 계산 예산만으로 언어별 LLM의 추론 능력을 향상시켜 DeepSeek R1의 수준에 맞출 수 있다는 것을 입증합니다. 이 과정에서 해당 언어 작업의 성능을 희생시키지 않습니다.

English

This paper investigates data selection and model merging methodologies aimed at incorporating advanced reasoning capabilities such as those of DeepSeek R1 into language-specific large language models (LLMs), with a particular focus on the Thai LLM. Our goal is to enhance the reasoning capabilities of language-specific LLMs while maintaining their target language abilities. DeepSeek R1 excels in reasoning but primarily benefits high-resource languages such as English and Chinese. However, low-resource languages remain underserved due to the dominance of English-centric training data and model optimizations, which limit performance in these languages. This limitation results in unreliable code-switching and diminished effectiveness on tasks in low-resource languages. Meanwhile, local and regional LLM initiatives have attempted to bridge this gap by developing language-specific LLMs that focus on improving local linguistic fidelity. We demonstrate that, with only publicly available datasets and a computational budget of $120, it is possible to enhance the reasoning capabilities of language-specific LLMs to match the level of DeepSeek R1, without compromising their performance on target language tasks.