BitNet b1.58 Rapporto Tecnico 2B4T

BitNet b1.58 2B4T Technical Report

April 16, 2025

Autori: Shuming Ma, Hongyu Wang, Shaohan Huang, Xingxing Zhang, Ying Hu, Ting Song, Yan Xia, Furu Wei

cs.AI

Abstract

Presentiamo BitNet b1.58 2B4T, il primo Large Language Model (LLM) open-source nativo a 1-bit su scala di 2 miliardi di parametri. Addestrato su un corpus di 4 trilioni di token, il modello è stato rigorosamente valutato attraverso benchmark che coprono comprensione del linguaggio, ragionamento matematico, competenza nella programmazione e abilità conversazionale. I nostri risultati dimostrano che BitNet b1.58 2B4T raggiunge prestazioni paragonabili ai principali LLM open-weight a precisione completa di dimensioni simili, offrendo al contempo significativi vantaggi in termini di efficienza computazionale, tra cui una riduzione sostanziale dell'impronta di memoria, del consumo energetico e della latenza di decodifica. Per facilitare ulteriori ricerche e adozioni, i pesi del modello sono rilasciati tramite Hugging Face insieme a implementazioni open-source di inferenza per architetture sia GPU che CPU.

English

We introduce BitNet b1.58 2B4T, the first open-source, native 1-bit Large Language Model (LLM) at the 2-billion parameter scale. Trained on a corpus of 4 trillion tokens, the model has been rigorously evaluated across benchmarks covering language understanding, mathematical reasoning, coding proficiency, and conversational ability. Our results demonstrate that BitNet b1.58 2B4T achieves performance on par with leading open-weight, full-precision LLMs of similar size, while offering significant advantages in computational efficiency, including substantially reduced memory footprint, energy consumption, and decoding latency. To facilitate further research and adoption, the model weights are released via Hugging Face along with open-source inference implementations for both GPU and CPU architectures.