GlotCC : un corpus et un pipeline Open Broad-Coverage CommonCrawl pour les langues minoritaires

GlotCC: An Open Broad-Coverage CommonCrawl Corpus and Pipeline for Minority Languages

October 31, 2024

Auteurs: Amir Hossein Kargaran, François Yvon, Hinrich Schütze

cs.AI

Résumé

Le besoin de grands corpus textuels a augmenté avec l'avènement des modèles de langage pré-entraînés et, en particulier, la découverte des lois d'échelle pour ces modèles. La plupart des corpus disponibles ont suffisamment de données uniquement pour les langues avec de grandes communautés dominantes. Cependant, il n'existe aucun corpus disponible qui (i) couvre un large éventail de langues minoritaires ; (ii) est généré par un pipeline reproductible open-source ; et (iii) est rigoureusement nettoyé du bruit, le rendant fiable à utiliser. Nous présentons GlotCC, un corpus général de 2 To, propre et au niveau du document, dérivé de CommonCrawl, couvrant plus de 1000 langues. Nous mettons GlotCC et le système utilisé pour le générer - y compris le pipeline, le modèle d'identification de langue et les filtres - à la disposition de la communauté de recherche. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.

English

The need for large text corpora has increased with the advent of pretrained language models and, in particular, the discovery of scaling laws for these models. Most available corpora have sufficient data only for languages with large dominant communities. However, there is no corpus available that (i) covers a wide range of minority languages; (ii) is generated by an open-source reproducible pipeline; and (iii) is rigorously cleaned from noise, making it trustworthy to use. We present GlotCC, a clean, document-level, 2TB general domain corpus derived from CommonCrawl, covering more than 1000 languages. We make GlotCC and the system used to generate it - including the pipeline, language identification model, and filters - available to the research community. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.