GlotCC: Un Corpus e un Flusso di Lavoro Open Broad-Coverage per CommonCrawl per Lingue Minori

GlotCC: An Open Broad-Coverage CommonCrawl Corpus and Pipeline for Minority Languages

October 31, 2024

Autori: Amir Hossein Kargaran, François Yvon, Hinrich Schütze

cs.AI

Abstract

La necessità di grandi corpora testuali è aumentata con l'avvento dei modelli linguistici preaddestrati e, in particolare, la scoperta delle leggi di scala per questi modelli. La maggior parte dei corpora disponibili ha dati sufficienti solo per lingue con grandi comunità dominanti. Tuttavia, non esiste un corpus disponibile che (i) copra una vasta gamma di lingue minoritarie; (ii) sia generato da un pipeline riproducibile open-source; e (iii) sia rigorosamente pulito dal rumore, rendendolo affidabile per l'uso. Presentiamo GlotCC, un corpus generale di 2TB a livello di documento, pulito, derivato da CommonCrawl, che copre più di 1000 lingue. Mettiamo a disposizione della comunità di ricerca GlotCC e il sistema utilizzato per generarlo - inclusi il pipeline, il modello di identificazione della lingua e i filtri. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.

English

The need for large text corpora has increased with the advent of pretrained language models and, in particular, the discovery of scaling laws for these models. Most available corpora have sufficient data only for languages with large dominant communities. However, there is no corpus available that (i) covers a wide range of minority languages; (ii) is generated by an open-source reproducible pipeline; and (iii) is rigorously cleaned from noise, making it trustworthy to use. We present GlotCC, a clean, document-level, 2TB general domain corpus derived from CommonCrawl, covering more than 1000 languages. We make GlotCC and the system used to generate it - including the pipeline, language identification model, and filters - available to the research community. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.