Fietje: Um LLM aberto e eficiente para o holandês

Fietje: An open, efficient LLM for Dutch

December 19, 2024

Autores: Bram Vanroy

cs.AI

Resumo

Este artigo apresenta Fietje, uma família de pequenos modelos de linguagem (SLMs) projetados especificamente para a língua holandesa. O modelo é baseado no Phi 2, um modelo centrado no inglês com 2,7 bilhões de parâmetros. Fietje demonstrou resultados competitivos com modelos de linguagem maiores após seu lançamento. Um foco central deste trabalho é transparência e reprodutibilidade: Fietje é totalmente de código aberto, com pesos do modelo, conjuntos de dados, treinamento e código de avaliação todos publicamente acessíveis. O artigo discute o desempenho de Fietje e de muitos outros modelos em uma extensa suíte de avaliação de benchmarks em raciocínio, análise de sentimento, conhecimento mundial, aceitabilidade linguística e desambiguação de sentido de palavras. Os resultados da avaliação ilustram o rápido progresso no campo de LLMs, onde modelos pequenos recentes superam modelos maiores mais antigos que foram ajustados para o holandês. Essa tendência sinaliza um futuro emocionante para o processamento da língua holandesa, sugerindo que até mesmo LLMs compactos estão se tornando cada vez mais capazes. Além disso, esforços em andamento e futuros para adaptar LLMs ao holandês estão prontos para aprimorar ainda mais esses modelos, ampliando sua aplicabilidade e acessibilidade. Fietje é apenas um passo intermediário na melhoria da acessibilidade à tecnologia de linguagem para usuários da língua holandesa.

English

This paper introduces Fietje, a family of small language models (SLMs) specifically designed for the Dutch language. The model is based on Phi 2, an English-centric model of 2.7 billion parameters. Fietje demonstrated competitive results with larger language models upon its release. A core emphasis of this work is transparency and reproducibility: Fietje is fully open-source, with model weights, datasets, training, and evaluation code all publicly accessible. The paper discusses the performance of Fietje and many other models on an extensive evaluation suite of benchmarks on reasoning, sentiment analysis, world knowledge, linguistic acceptability and word sense disambiguation. Evaluation results illustrate the rapid progress in the field of LLMs, where recent small models outperform older, larger models that were fine-tuned for Dutch. This trend signals an exciting future for Dutch language processing, suggesting that even compact LLMs are becoming increasingly capable. Furthermore, ongoing and future efforts to adapt LLMs to Dutch are poised to enhance these models even further, broadening their applicability and accessibility. Fietje is only an intermediate step in improving accessibility to language technology for users of the Dutch language.