Fietje：オープンで効率的なオランダ語のLLM

Fietje: An open, efficient LLM for Dutch

December 19, 2024

著者: Bram Vanroy

cs.AI

要旨

本論文では、オランダ語向けに特別に設計された小規模言語モデル（SLM）ファミリーであるFietjeを紹介します。このモデルは、英語中心の27億パラメータのPhi 2モデルに基づいています。Fietjeはリリース時により大きな言語モデルと競合する結果を示しました。この研究の中心的な重点は透明性と再現性であり、Fietjeは完全にオープンソースであり、モデルの重み、データセット、トレーニング、評価コードがすべて一般にアクセス可能です。 本論文では、Fietjeや他の多くのモデルの性能について議論し、推論、感情分析、世界知識、言語的受容性、単語の意味の曖昧さ解消などの幅広いベンチマーク評価スイートでの評価結果について取り上げます。評価結果は、最近の小規模モデルが、オランダ語向けに微調整された古い大きなモデルを上回る急速な進歩を示しています。この傾向は、オランダ語処理の未来が楽しみであり、コンパクトなLLM（大規模言語モデル）でさえますます能力が向上していることを示唆しています。 さらに、LLMをオランダ語に適応させるための現在進行中および将来の取り組みは、これらのモデルをさらに向上させ、適用範囲と利用可能性を拡大することが期待されています。Fietjeは、オランダ語を使用するユーザーに対する言語技術の利用可能性を向上させる過程での中間段階に過ぎません。

English

This paper introduces Fietje, a family of small language models (SLMs) specifically designed for the Dutch language. The model is based on Phi 2, an English-centric model of 2.7 billion parameters. Fietje demonstrated competitive results with larger language models upon its release. A core emphasis of this work is transparency and reproducibility: Fietje is fully open-source, with model weights, datasets, training, and evaluation code all publicly accessible. The paper discusses the performance of Fietje and many other models on an extensive evaluation suite of benchmarks on reasoning, sentiment analysis, world knowledge, linguistic acceptability and word sense disambiguation. Evaluation results illustrate the rapid progress in the field of LLMs, where recent small models outperform older, larger models that were fine-tuned for Dutch. This trend signals an exciting future for Dutch language processing, suggesting that even compact LLMs are becoming increasingly capable. Furthermore, ongoing and future efforts to adapt LLMs to Dutch are poised to enhance these models even further, broadening their applicability and accessibility. Fietje is only an intermediate step in improving accessibility to language technology for users of the Dutch language.