Bielik 7B v0.1: 폴란드어 언어 모델 -- 개발, 통찰, 및 평가

초록

우리는 폴란드어 처리를 위한 70억 개 파라미터 생성 텍스트 모델인 Bielik 7B v0.1을 소개합니다. 정제된 폴란드어 말뭉치로 훈련된 이 모델은 혁신적인 기술을 통해 언어 모델 개발의 주요 도전 과제에 대응합니다. 이에는 다양한 지시 유형의 학습을 균형 있게 하는 Weighted Instruction Cross-Entropy Loss와 훈련 진행에 따라 학습률을 동적으로 조절하는 Adaptive Learning Rate 등이 포함됩니다. 성능을 평가하기 위해 우리는 Open PL LLM 리더보드와 폴란드어 MT-Bench를 만들었으며, 이는 다양한 NLP 작업과 대화 능력을 평가하는 새로운 프레임워크입니다. Bielik 7B v0.1은 RAG Reader 작업에서 Mistral-7B-v0.1과 비교해 평균 점수가 9 포인트 증가하는 중요한 개선을 보여줍니다. 또한 이 모델은 특히 Reasoning(6.15/10) 및 Role-playing(7.83/10) 범주에서 폴란드어 MT-Bench에서 뛰어난 성과를 보입니다. 이 모델은 폴란드어 언어 인공지능 분야에서 상당한 발전을 나타내며, 다양한 언어 응용 프로그램에 강력한 도구를 제공하고 분야에서 새로운 기준을 설정합니다.

English

We introduce Bielik 7B v0.1, a 7-billion-parameter generative text model for Polish language processing. Trained on curated Polish corpora, this model addresses key challenges in language model development through innovative techniques. These include Weighted Instruction Cross-Entropy Loss, which balances the learning of different instruction types, and Adaptive Learning Rate, which dynamically adjusts the learning rate based on training progress. To evaluate performance, we created the Open PL LLM Leaderboard and Polish MT-Bench, novel frameworks assessing various NLP tasks and conversational abilities. Bielik 7B v0.1 demonstrates significant improvements, achieving a 9 percentage point increase in average score compared to Mistral-7B-v0.1 on the RAG Reader task. It also excels in the Polish MT-Bench, particularly in Reasoning (6.15/10) and Role-playing (7.83/10) categories. This model represents a substantial advancement in Polish language AI, offering a powerful tool for diverse linguistic applications and setting new benchmarks in the field.

Bielik 7B v0.1: 폴란드어 언어 모델 -- 개발, 통찰, 및 평가

Bielik 7B v0.1: A Polish Language Model -- Development, Insights, and Evaluation

초록

Summary

Support