GPT of BERT: waarom niet allebei?

GPT or BERT: why not both?

October 31, 2024

Auteurs: Lucas Georges Gabriel Charpentier, David Samuel

cs.AI

Samenvatting

We presenteren een eenvoudige manier om gemaskerde taalmodellering te combineren met causale taalmodellering. Dit hybride trainingsdoel resulteert in een model dat de sterke punten van beide modelleringsparadigma's combineert binnen een enkele transformer stack: GPT-BERT kan transparant worden gebruikt zoals elk standaard causaal of gemaskeerd taalmodel. We testen het pretrainingproces dat dit flexibele gedrag mogelijk maakt op de BabyLM Challenge 2024. De resultaten tonen aan dat het hybride pretrainingmodel beter presteert dan modellen die alleen gemaskeerd of alleen causaal zijn. We maken de modellen, trainingscorpora en code openlijk beschikbaar.

English

We present a simple way to merge masked language modeling with causal language modeling. This hybrid training objective results in a model that combines the strengths of both modeling paradigms within a single transformer stack: GPT-BERT can be transparently used like any standard causal or masked language model. We test the pretraining process that enables this flexible behavior on the BabyLM Challenge 2024. The results show that the hybrid pretraining outperforms masked-only or causal-only models. We openly release the models, training corpora and code.