Technisch Rapport Trillion 7B

Trillion 7B Technical Report

April 21, 2025

Auteurs: Sungjun Han, Juyoung Suk, Suyeong An, Hyungguk Kim, Kyuseok Kim, Wonsuk Yang, Seungtaek Choi, Jamin Shin

cs.AI

Samenvatting

We introduceren Trillion-7B, het meest token-efficiënte Koreaans-gerichte meertalige LLM dat beschikbaar is. Ons nieuwe Cross-lingual Document Attention (XLDA) mechanisme maakt zeer efficiënte en effectieve kennisoverdracht mogelijk van Engels naar doeltalen zoals Koreaans en Japans. In combinatie met geoptimaliseerde datamengsels, taal-specifieke filtering en maatwerk tokenizer-constructie, bereikt Trillion-7B een competitieve prestatieniveau terwijl slechts 10\% van zijn 2T trainings-tokens aan meertalige data wordt besteed en slechts 59.4K H100 GPU-uren (\$148K) nodig zijn voor volledige training. Uitgebreide evaluaties over 27 benchmarks in vier talen tonen de robuuste meertalige prestaties en uitzonderlijke cross-linguale consistentie van Trillion-7B aan.

English

We introduce Trillion-7B, the most token-efficient Korean-centric multilingual LLM available. Our novel Cross-lingual Document Attention (XLDA) mechanism enables highly efficient and effective knowledge transfer from English to target languages like Korean and Japanese. Combined with optimized data mixtures, language-specific filtering, and tailored tokenizer construction, Trillion-7B achieves competitive performance while dedicating only 10\% of its 2T training tokens to multilingual data and requiring just 59.4K H100 GPU hours (\$148K) for full training. Comprehensive evaluations across 27 benchmarks in four languages demonstrate Trillion-7B's robust multilingual performance and exceptional cross-lingual consistency.