GlotCC: Ein offenes, umfassendes CommonCrawl-Korpus und eine Pipeline für Minderheitensprachen

GlotCC: An Open Broad-Coverage CommonCrawl Corpus and Pipeline for Minority Languages

October 31, 2024

Autoren: Amir Hossein Kargaran, François Yvon, Hinrich Schütze

cs.AI

Zusammenfassung

Der Bedarf an umfangreichen Textkorpora hat mit dem Aufkommen von vortrainierten Sprachmodellen zugenommen, insbesondere durch die Entdeckung von Skalierungsgesetzen für diese Modelle. Die meisten verfügbaren Korpora enthalten nur ausreichend Daten für Sprachen mit großen dominierenden Gemeinschaften. Es gibt jedoch kein Korpus, das (i) eine breite Palette von Minderheitensprachen abdeckt; (ii) von einer Open-Source reproduzierbaren Pipeline generiert wird; und (iii) streng von Rauschen gereinigt ist, was seine Verwendbarkeit vertrauenswürdig macht. Wir stellen GlotCC vor, ein sauberes, auf Dokumentenebene basierendes, 2TB umfassendes allgemeines Korpus, das aus CommonCrawl abgeleitet ist und mehr als 1000 Sprachen abdeckt. Wir stellen GlotCC und das zur Generierung verwendete System - einschließlich der Pipeline, des Spracherkennungsmodells und der Filter - der Forschungsgemeinschaft zur Verfügung. Korpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.

English

The need for large text corpora has increased with the advent of pretrained language models and, in particular, the discovery of scaling laws for these models. Most available corpora have sufficient data only for languages with large dominant communities. However, there is no corpus available that (i) covers a wide range of minority languages; (ii) is generated by an open-source reproducible pipeline; and (iii) is rigorously cleaned from noise, making it trustworthy to use. We present GlotCC, a clean, document-level, 2TB general domain corpus derived from CommonCrawl, covering more than 1000 languages. We make GlotCC and the system used to generate it - including the pipeline, language identification model, and filters - available to the research community. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.