UnifiedCrawl: Common Crawl Aggregato per l'Adattamento Accessibile di LLM su Lingue a Risorse Limitate

UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages

November 21, 2024

Autori: Bethel Melesse Tessema, Akhil Kedia, Tae-Sun Chung

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno prestazioni inferiori nelle lingue a risorse limitate a causa dei dati di addestramento limitati. Presentiamo un metodo per raccogliere in modo efficiente dati testuali per le lingue a risorse limitate dall'intero corpus di Common Crawl. Il nostro approccio, UnifiedCrawl, filtra ed estrae Common Crawl utilizzando risorse di calcolo minime, producendo set di dati monolingui molto più ampi rispetto alle fonti precedentemente disponibili. Dimostriamo che sfruttare questi dati per il raffinamento dei LLM multilingue tramite metodi di adattamento efficienti (QLoRA) migliora significativamente le prestazioni nella lingua a risorse limitate, riducendo al minimo l'uso della VRAM. I nostri esperimenti mostrano ampi miglioramenti nella perplessità del modellamento linguistico e un aumento nei punteggi di prompting a pochi colpi. Il nostro lavoro e il codice sorgente rilasciato forniscono un approccio conveniente per migliorare i LLM per le lingue a risorse limitate utilizzando hardware per consumatori. Il nostro codice sorgente è disponibile qui su https://github.com/bethelmelesse/unifiedcrawl.

English

Large language models (LLMs) under-perform on low-resource languages due to limited training data. We present a method to efficiently collect text data for low-resource languages from the entire Common Crawl corpus. Our approach, UnifiedCrawl, filters and extracts common crawl using minimal compute resources, yielding mono-lingual datasets much larger than previously available sources. We demonstrate that leveraging this data to fine-tuning multilingual LLMs via efficient adapter methods (QLoRA) significantly boosts performance on the low-resource language, while minimizing VRAM usage. Our experiments show large improvements in language modeling perplexity and an increase in few-shot prompting scores. Our work and released source code provide an affordable approach to improve LLMs for low-resource languages using consumer hardware. Our source code is available here at https://github.com/bethelmelesse/unifiedcrawl.