Trasformatore Latente a Byte: Le Patch Scalano Meglio dei Token

Byte Latent Transformer: Patches Scale Better Than Tokens

December 13, 2024

Autori: Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman, Srinivasan Iyer

cs.AI

Abstract

Introduciamo il Byte Latent Transformer (BLT), una nuova architettura LLM a livello di byte che, per la prima volta, eguaglia le prestazioni dei modelli LLM basati sulla tokenizzazione su larga scala con significativi miglioramenti nell'efficienza e nella robustezza dell'inferenza. Il BLT codifica i byte in patch di dimensioni dinamiche, che fungono da unità primarie di calcolo. Le patch sono segmentate in base all'entropia del byte successivo, allocando più calcolo e capacità del modello dove la complessità dei dati aumenta. Presentiamo il primo studio di scalabilità controllata da FLOP dei modelli a livello di byte fino a 8 miliardi di parametri e 4 trilioni di byte di addestramento. I nostri risultati dimostrano la fattibilità di scalare modelli addestrati su byte grezzi senza un vocabolario fisso. Sia l'efficienza dell'addestramento che dell'inferenza migliorano grazie alla selezione dinamica di patch lunghe quando i dati sono prevedibili, insieme a miglioramenti qualitativi nel ragionamento e nella generalizzazione a lunga coda. Complessivamente, per costi di inferenza fissi, il BLT mostra una scalabilità significativamente migliore rispetto ai modelli basati sulla tokenizzazione, facendo crescere contemporaneamente sia le dimensioni delle patch che del modello.

English

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.