통합 크롤링: 저비용으로 LLMs를 적응시키기 위한 집계된 Common Crawl 저자원 언어에 대한 번역을 위한 UnifiedCrawl

UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages

November 21, 2024

저자: Bethel Melesse Tessema, Akhil Kedia, Tae-Sun Chung

cs.AI

초록

대규모 언어 모델(Large language models, LLMs)은 훈련 데이터의 한정으로 저자원 언어에서 성능이 저하됩니다. 저희는 전체 Common Crawl 코퍼스에서 저자원 언어의 텍스트 데이터를 효율적으로 수집하는 방법을 제시합니다. UnifiedCrawl이라는 접근 방식은 최소한의 계산 자원을 사용하여 Common Crawl을 필터링하고 추출하여 이전에 사용 가능했던 소스보다 훨씬 큰 단일 언어 데이터셋을 제공합니다. 우리는 이 데이터를 활용하여 다국어 LLMs를 효율적인 어댑터 방법(QLoRA)을 통해 세밀하게 조정함으로써 저자원 언어의 성능을 크게 향상시키고 VRAM 사용량을 최소화하는 것을 입증합니다. 실험 결과, 언어 모델링 퍼플렉서티가 크게 향상되었으며 적은 양의 프롬프팅 점수가 증가했습니다. 저희의 작업과 공개된 소스 코드는 소비자 하드웨어를 사용하여 저자원 언어용 LLMs를 개선하는 비용 효율적인 방법을 제공합니다. 저희의 소스 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/bethelmelesse/unifiedcrawl.

English

Large language models (LLMs) under-perform on low-resource languages due to limited training data. We present a method to efficiently collect text data for low-resource languages from the entire Common Crawl corpus. Our approach, UnifiedCrawl, filters and extracts common crawl using minimal compute resources, yielding mono-lingual datasets much larger than previously available sources. We demonstrate that leveraging this data to fine-tuning multilingual LLMs via efficient adapter methods (QLoRA) significantly boosts performance on the low-resource language, while minimizing VRAM usage. Our experiments show large improvements in language modeling perplexity and an increase in few-shot prompting scores. Our work and released source code provide an affordable approach to improve LLMs for low-resource languages using consumer hardware. Our source code is available here at https://github.com/bethelmelesse/unifiedcrawl.