Bielik 7B v0.1: Een Pools Taalmodel -- Ontwikkeling, Inzichten en Evaluatie

Bielik 7B v0.1: A Polish Language Model -- Development, Insights, and Evaluation

October 24, 2024

Auteurs: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

Samenvatting

We introduceren Bielik 7B v0.1, een generatief tekstmodel met 7 miljard parameters voor de verwerking van de Poolse taal. Getraind op samengestelde Poolse corpora, pakt dit model belangrijke uitdagingen aan in de ontwikkeling van taalmodellen door middel van innovatieve technieken. Deze omvatten Gewogen Instructie Cross-Entropie Verlies, dat het leren van verschillende instructietypen in balans brengt, en Adaptieve Leer Snelheid, dat dynamisch de leersnelheid aanpast op basis van de trainingsvoortgang. Om de prestaties te evalueren, hebben we de Open PL LLM Leaderboard en het Poolse MT-Bench gecreëerd, nieuwe frameworks die verschillende NLP-taken en conversatievaardigheden beoordelen. Bielik 7B v0.1 toont aanzienlijke verbeteringen, met een toename van 9 procentpunten in de gemiddelde score in vergelijking met Mistral-7B-v0.1 op de RAG Reader-taak. Het excelleert ook in de Poolse MT-Bench, met name in de categorieën Redenering (6.15/10) en Rollenspel (7.83/10). Dit model vertegenwoordigt een aanzienlijke vooruitgang in Poolse taal AI, en biedt een krachtig instrument voor diverse taalkundige toepassingen en stelt nieuwe normen in het vakgebied.

English

We introduce Bielik 7B v0.1, a 7-billion-parameter generative text model for Polish language processing. Trained on curated Polish corpora, this model addresses key challenges in language model development through innovative techniques. These include Weighted Instruction Cross-Entropy Loss, which balances the learning of different instruction types, and Adaptive Learning Rate, which dynamically adjusts the learning rate based on training progress. To evaluate performance, we created the Open PL LLM Leaderboard and Polish MT-Bench, novel frameworks assessing various NLP tasks and conversational abilities. Bielik 7B v0.1 demonstrates significant improvements, achieving a 9 percentage point increase in average score compared to Mistral-7B-v0.1 on the RAG Reader task. It also excels in the Polish MT-Bench, particularly in Reasoning (6.15/10) and Role-playing (7.83/10) categories. This model represents a substantial advancement in Polish language AI, offering a powerful tool for diverse linguistic applications and setting new benchmarks in the field.