UnifiedCrawl: Aggregiertes Common Crawl für kostengünstige Anpassung von LLMs in wenig ressourcenreichen Sprachen

UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages

November 21, 2024

Autoren: Bethel Melesse Tessema, Akhil Kedia, Tae-Sun Chung

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) erzielen auf Sprachen mit geringen Ressourcen aufgrund begrenzter Trainingsdaten schlechte Leistungen. Wir stellen eine Methode vor, um Textdaten für Sprachen mit geringen Ressourcen effizient aus dem gesamten Common Crawl-Korpus zu sammeln. Unser Ansatz, UnifiedCrawl, filtert und extrahiert Common Crawl unter Verwendung minimaler Rechenressourcen, wodurch monolinguale Datensätze entstehen, die wesentlich größer sind als zuvor verfügbare Quellen. Wir zeigen, dass die Nutzung dieser Daten zur Feinabstimmung mehrsprachiger LLMs mithilfe effizienter Adaptermethoden (QLoRA) die Leistung auf der Sprache mit geringen Ressourcen signifikant steigert, während der VRAM-Verbrauch minimiert wird. Unsere Experimente zeigen deutliche Verbesserungen in der Sprachmodell-Perplexität und eine Zunahme der Few-Shot-Prompting-Werte. Unsere Arbeit und der veröffentlichte Quellcode bieten einen kostengünstigen Ansatz zur Verbesserung von LLMs für Sprachen mit geringen Ressourcen unter Verwendung handelsüblicher Hardware. Unser Quellcode ist hier verfügbar: https://github.com/bethelmelesse/unifiedcrawl.

English

Large language models (LLMs) under-perform on low-resource languages due to limited training data. We present a method to efficiently collect text data for low-resource languages from the entire Common Crawl corpus. Our approach, UnifiedCrawl, filters and extracts common crawl using minimal compute resources, yielding mono-lingual datasets much larger than previously available sources. We demonstrate that leveraging this data to fine-tuning multilingual LLMs via efficient adapter methods (QLoRA) significantly boosts performance on the low-resource language, while minimizing VRAM usage. Our experiments show large improvements in language modeling perplexity and an increase in few-shot prompting scores. Our work and released source code provide an affordable approach to improve LLMs for low-resource languages using consumer hardware. Our source code is available here at https://github.com/bethelmelesse/unifiedcrawl.