LLäMmlein: Kompakte und wettbewerbsfähige deutsche Sprachmodelle von Grund auf

LLäMmlein: Compact and Competitive German-Only Language Models from Scratch

November 17, 2024

Autoren: Jan Pfister, Julia Wunderle, Andreas Hotho

cs.AI

Zusammenfassung

Wir haben zwei ausschließlich auf Deutsch ausgerichtete Decoder-Modelle, LL\"aMmlein 120M und 1B, transparent von Grund auf erstellt und zusammen mit den Trainingsdaten für die deutsche NLP-Forschungsgemeinschaft veröffentlicht. Das Modelltraining umfasste mehrere Schlüsselschritte, darunter umfangreiche Datenpräprozessierung, die Erstellung eines benutzerdefinierten deutschen Tokenizers, das eigentliche Training sowie die Evaluation der endgültigen Modelle anhand verschiedener Benchmarks. Während des Trainingsprozesses wurden mehrere Checkpoints gespeichert und mithilfe des SuperGLEBer-Benchmarks analysiert, um die Lerndynamik der Modelle zu überwachen. Im Vergleich zu State-of-the-Art-Modellen auf dem SuperGLEBer-Benchmark schnitten beide LL\"aMmlein-Modelle wettbewerbsfähig ab und erreichten konstant ähnliche oder bessere Leistungen bei vergleichbarer Parametergröße. Die Ergebnisse zeigen, dass die Qualität der Modelle wie erwartet mit der Größe skaliert, aber Leistungsverbesserungen bei einigen Aufgaben frühzeitig stagnierten und somit wertvolle Erkenntnisse zur Ressourcenallokation für zukünftige Modellentwicklung bieten.

English

We create two German-only decoder models, LL\"aMmlein 120M and 1B, transparently from scratch and publish them, along with the training data, for the German NLP research community to use. The model training involved several key steps, including extensive data preprocessing, the creation of a custom German tokenizer, the training itself, as well as the evaluation of the final models on various benchmarks. Throughout the training process, multiple checkpoints were saved and analyzed using the SuperGLEBer benchmark to monitor the models' learning dynamics. Compared to state-of-the-art models on the SuperGLEBer benchmark, both LL\"aMmlein models performed competitively, consistently matching or surpassing models with similar parameter sizes. The results show that the models' quality scales with size as expected, but performance improvements on some tasks plateaued early, offering valuable insights into resource allocation for future model development.