GPT o BERT: perché non entrambi?

GPT or BERT: why not both?

October 31, 2024

Autori: Lucas Georges Gabriel Charpentier, David Samuel

cs.AI

Abstract

Presentiamo un modo semplice per unire il modello di linguaggio mascherato con il modello di linguaggio causale. Questo obiettivo di addestramento ibrido porta a un modello che combina i punti di forza di entrambi i paradigmi di modellazione all'interno di uno stack di trasformatori singolo: GPT-BERT può essere utilizzato in modo trasparente come qualsiasi modello di linguaggio causale o mascherato standard. Testiamo il processo di preaddestramento che consente questo comportamento flessibile sulla BabyLM Challenge 2024. I risultati mostrano che il preaddestramento ibrido supera i modelli solo mascherati o solo causali. Rilasciamo apertamente i modelli, le corpora di addestramento e il codice.

English

We present a simple way to merge masked language modeling with causal language modeling. This hybrid training objective results in a model that combines the strengths of both modeling paradigms within a single transformer stack: GPT-BERT can be transparently used like any standard causal or masked language model. We test the pretraining process that enables this flexible behavior on the BabyLM Challenge 2024. The results show that the hybrid pretraining outperforms masked-only or causal-only models. We openly release the models, training corpora and code.