Bielik 7B v0.1: Un Modello Linguistico Polacco -- Sviluppo, Approfondimenti e Valutazione

Bielik 7B v0.1: A Polish Language Model -- Development, Insights, and Evaluation

October 24, 2024

Autori: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

Abstract

Introduciamo Bielik 7B v0.1, un modello generativo di testo da 7 miliardi di parametri per il trattamento del linguaggio polacco. Addestrato su corpora polacchi curati, questo modello affronta sfide chiave nello sviluppo dei modelli linguistici attraverso tecniche innovative. Queste includono la perdita di entropia incrociata con istruzioni pesate, che bilancia l'apprendimento di diversi tipi di istruzioni, e il tasso di apprendimento adattivo, che regola dinamicamente il tasso di apprendimento in base al progresso dell'addestramento. Per valutare le prestazioni, abbiamo creato la classifica Open PL LLM e Polish MT-Bench, nuovi framework che valutano vari compiti di elaborazione del linguaggio naturale e abilità conversazionali. Bielik 7B v0.1 dimostra miglioramenti significativi, ottenendo un aumento del punteggio medio del 9% rispetto a Mistral-7B-v0.1 nel compito di lettura RAG Reader. Eccelle anche nel Polish MT-Bench, in particolare nelle categorie di Ragionamento (6,15/10) e Gioco di ruolo (7,83/10). Questo modello rappresenta un notevole progresso nell'IA linguistica polacca, offrendo uno strumento potente per diverse applicazioni linguistiche e stabilendo nuovi standard nel settore.

English

We introduce Bielik 7B v0.1, a 7-billion-parameter generative text model for Polish language processing. Trained on curated Polish corpora, this model addresses key challenges in language model development through innovative techniques. These include Weighted Instruction Cross-Entropy Loss, which balances the learning of different instruction types, and Adaptive Learning Rate, which dynamically adjusts the learning rate based on training progress. To evaluate performance, we created the Open PL LLM Leaderboard and Polish MT-Bench, novel frameworks assessing various NLP tasks and conversational abilities. Bielik 7B v0.1 demonstrates significant improvements, achieving a 9 percentage point increase in average score compared to Mistral-7B-v0.1 on the RAG Reader task. It also excels in the Polish MT-Bench, particularly in Reasoning (6.15/10) and Role-playing (7.83/10) categories. This model represents a substantial advancement in Polish language AI, offering a powerful tool for diverse linguistic applications and setting new benchmarks in the field.