GlotCC: Een Open Breeddekkend CommonCrawl Corpus en Pipeline voor Minderheidstalen

GlotCC: An Open Broad-Coverage CommonCrawl Corpus and Pipeline for Minority Languages

October 31, 2024

Auteurs: Amir Hossein Kargaran, François Yvon, Hinrich Schütze

cs.AI

Samenvatting

De behoefte aan grote tekstcorpora is toegenomen met de opkomst van vooraf getrainde taalmodellen en met name de ontdekking van schaalwetten voor deze modellen. De meeste beschikbare corpora hebben alleen voldoende gegevens voor talen met grote dominante gemeenschappen. Er is echter geen corpus beschikbaar dat (i) een breed scala aan minderheidstalen bestrijkt; (ii) wordt gegenereerd door een open-source reproduceerbare pipeline; en (iii) grondig is schoongemaakt van ruis, waardoor het betrouwbaar is om te gebruiken. Wij presenteren GlotCC, een schoon, op documentniveau, 2TB algemeen domeincorpus afgeleid van CommonCrawl, dat meer dan 1000 talen bestrijkt. Wij stellen GlotCC en het systeem dat gebruikt is om het te genereren - inclusief de pipeline, taalidentificatiemodel en filters - beschikbaar voor de onderzoeksgemeenschap. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.

English

The need for large text corpora has increased with the advent of pretrained language models and, in particular, the discovery of scaling laws for these models. Most available corpora have sufficient data only for languages with large dominant communities. However, there is no corpus available that (i) covers a wide range of minority languages; (ii) is generated by an open-source reproducible pipeline; and (iii) is rigorously cleaned from noise, making it trustworthy to use. We present GlotCC, a clean, document-level, 2TB general domain corpus derived from CommonCrawl, covering more than 1000 languages. We make GlotCC and the system used to generate it - including the pipeline, language identification model, and filters - available to the research community. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.