GPT oder BERT: Warum nicht beide?

GPT or BERT: why not both?

October 31, 2024

Autoren: Lucas Georges Gabriel Charpentier, David Samuel

cs.AI

Zusammenfassung

Wir präsentieren einen einfachen Weg, um das maskierte Sprachmodellieren mit dem kausalen Sprachmodellieren zu verschmelzen. Dieses hybride Trainingsziel führt zu einem Modell, das die Stärken beider Modellierungsparadigmen innerhalb eines einzigen Transformer-Stacks kombiniert: GPT-BERT kann transparent wie jedes Standard-kausale oder maskierte Sprachmodell verwendet werden. Wir testen den Pretraining-Prozess, der dieses flexible Verhalten bei der BabyLM Challenge 2024 ermöglicht. Die Ergebnisse zeigen, dass das hybride Pretraining maskierte oder kausale Modelle allein übertrifft. Wir veröffentlichen die Modelle, Trainingskorpora und den Code offen.

English

We present a simple way to merge masked language modeling with causal language modeling. This hybrid training objective results in a model that combines the strengths of both modeling paradigms within a single transformer stack: GPT-BERT can be transparently used like any standard causal or masked language model. We test the pretraining process that enables this flexible behavior on the BabyLM Challenge 2024. The results show that the hybrid pretraining outperforms masked-only or causal-only models. We openly release the models, training corpora and code.