Sailor2: 동남아시아에서 포용적 다국어 LLM 항해하기

초록

Sailor2는 동남아시아(SEA) 언어를 위한 최첨단 다국어 언어 모델 패밀리로, 1B, 8B, 20B 크기로 제공되어 다양한 애플리케이션에 적합합니다. Qwen2.5를 기반으로 구축된 Sailor2는 500B 토큰(SEA 특화 400B 토큰 및 리플레이 100B 토큰)에 대한 지속적인 사전 학습을 거쳐 13개의 SEA 언어를 지원하면서도 중국어와 영어에 대한 숙련도를 유지합니다. Sailor2-20B 모델은 SEA 언어 전반에서 GPT-4o 대비 50-50의 승률을 달성합니다. 또한, 데이터 큐레이션, 사전 학습, 사후 학습, 모델 커스터마이징 및 평가라는 다섯 가지 핵심 측면을 포함하여 다국어 모델을 효율적으로 개발하는 방법에 대한 포괄적인 가이드북을 제공합니다. 우리는 Sailor2 모델(Apache 2.0 라이선스)이 SEA 지역의 언어 발전을 촉진하고, Sailor2 가이드북이 연구자들이 다른 소외된 언어를 위한 더 포용적인 대형 언어 모델(LLM)을 구축하는 데 영감을 줄 것으로 기대합니다.

English

Sailor2 is a family of cutting-edge multilingual language models for South-East Asian (SEA) languages, available in 1B, 8B, and 20B sizes to suit diverse applications. Building on Qwen2.5, Sailor2 undergoes continuous pre-training on 500B tokens (400B SEA-specific and 100B replay tokens) to support 13 SEA languages while retaining proficiency in Chinese and English. Sailor2-20B model achieves a 50-50 win rate against GPT-4o across SEA languages. We also deliver a comprehensive cookbook on how to develop the multilingual model in an efficient manner, including five key aspects: data curation, pre-training, post-training, model customization and evaluation. We hope that Sailor2 model (Apache 2.0 license) will drive language development in the SEA region, and Sailor2 cookbook will inspire researchers to build more inclusive LLMs for other under-served languages.

Sailor2: 동남아시아에서 포용적 다국어 LLM 항해하기

Sailor2: Sailing in South-East Asia with Inclusive Multilingual LLMs

초록

Summary

Support