CCI3.0-HQ: un ampio dataset cinese di alta qualità progettato per il pre-addestramento di grandi modelli linguistici

CCI3.0-HQ: a large-scale Chinese dataset of high quality designed for pre-training large language models

October 24, 2024

Autori: Liangdong Wang, Bo-Wen Zhang, Chengwei Wu, Hanyu Zhao, Xiaofeng Shi, Shuhao Gu, Jijie Li, Quanyue Ma, TengFei Pan, Guang Liu

cs.AI

Abstract

Presentiamo CCI3.0-HQ (https://huggingface.co/datasets/BAAI/CCI3-HQ), un sottoinsieme di alta qualità di 500 GB del Corpus Cinese Internet 3.0 (CCI3.0) (https://huggingface.co/datasets/BAAI/CCI3-Data), sviluppato utilizzando un innovativo pipeline ibrido a due fasi che migliora significativamente la qualità dei dati. Per valutarne l'efficacia, abbiamo addestrato un modello con 0.5 miliardi di parametri da zero su 100 miliardi di token attraverso vari dataset, ottenendo prestazioni superiori su 10 benchmark in un contesto di zero-shot rispetto a CCI3.0, SkyPile e WanjuanV1. Il processo di filtraggio di alta qualità distilla efficacemente le capacità del modello Qwen2-72B-instruct in un modello compatto da 0.5 miliardi, raggiungendo punteggi F1 ottimali per la classificazione dei dati web cinesi. Crediamo che questo dataset in accesso aperto faciliterà un accesso più ampio a modelli linguistici di alta qualità.

English

We present CCI3.0-HQ (https://huggingface.co/datasets/BAAI/CCI3-HQ), a high-quality 500GB subset of the Chinese Corpora Internet 3.0 (CCI3.0)(https://huggingface.co/datasets/BAAI/CCI3-Data), developed using a novel two-stage hybrid filtering pipeline that significantly enhances data quality. To evaluate its effectiveness, we trained a 0.5B parameter model from scratch on 100B tokens across various datasets, achieving superior performance on 10 benchmarks in a zero-shot setting compared to CCI3.0, SkyPile, and WanjuanV1. The high-quality filtering process effectively distills the capabilities of the Qwen2-72B-instruct model into a compact 0.5B model, attaining optimal F1 scores for Chinese web data classification. We believe this open-access dataset will facilitate broader access to high-quality language models.