CCI3.0-HQ : un ensemble de données chinois à grande échelle de haute qualité conçu pour la pré-entraînement de grands modèles de langage

CCI3.0-HQ: a large-scale Chinese dataset of high quality designed for pre-training large language models

October 24, 2024

Auteurs: Liangdong Wang, Bo-Wen Zhang, Chengwei Wu, Hanyu Zhao, Xiaofeng Shi, Shuhao Gu, Jijie Li, Quanyue Ma, TengFei Pan, Guang Liu

cs.AI

Résumé

Nous présentons CCI3.0-HQ (https://huggingface.co/datasets/BAAI/CCI3-HQ), un sous-ensemble de haute qualité de 500 Go du Corpus Internet Chinois 3.0 (CCI3.0) (https://huggingface.co/datasets/BAAI/CCI3-Data), développé à l'aide d'un nouveau pipeline hybride à deux étapes qui améliore significativement la qualité des données. Pour évaluer son efficacité, nous avons entraîné un modèle de 0,5 milliard de paramètres à partir de zéro sur 100 milliards de jetons à travers divers ensembles de données, obtenant des performances supérieures sur 10 benchmarks dans un cadre de zéro-shot par rapport à CCI3.0, SkyPile et WanjuanV1. Le processus de filtrage de haute qualité distille efficacement les capacités du modèle Qwen2-72B-instruct dans un modèle compact de 0,5 milliard, atteignant des scores F1 optimaux pour la classification des données web chinoises. Nous pensons que ce jeu de données en libre accès facilitera un accès plus large aux modèles linguistiques de haute qualité.

English

We present CCI3.0-HQ (https://huggingface.co/datasets/BAAI/CCI3-HQ), a high-quality 500GB subset of the Chinese Corpora Internet 3.0 (CCI3.0)(https://huggingface.co/datasets/BAAI/CCI3-Data), developed using a novel two-stage hybrid filtering pipeline that significantly enhances data quality. To evaluate its effectiveness, we trained a 0.5B parameter model from scratch on 100B tokens across various datasets, achieving superior performance on 10 benchmarks in a zero-shot setting compared to CCI3.0, SkyPile, and WanjuanV1. The high-quality filtering process effectively distills the capabilities of the Qwen2-72B-instruct model into a compact 0.5B model, attaining optimal F1 scores for Chinese web data classification. We believe this open-access dataset will facilitate broader access to high-quality language models.