Swan e ArabicMTEB: Modelli e benchmark di incorporamento consapevoli dei dialetti, centrati sull'arabo, cross-linguistici e cross-culturali

Swan and ArabicMTEB: Dialect-Aware, Arabic-Centric, Cross-Lingual, and Cross-Cultural Embedding Models and Benchmarks

November 2, 2024

Autori: Gagan Bhatia, El Moatez Billah Nagoudi, Abdellah El Mekki, Fakhraddin Alwajih, Muhammad Abdul-Mageed

cs.AI

Abstract

Introduciamo Swan, una famiglia di modelli di embedding incentrati sulla lingua araba, che affrontano casi d'uso di piccola e grande scala. Swan include due varianti: Swan-Small, basato su ARBERTv2, e Swan-Large, costruito su ArMistral, un modello di lingua araba di grandi dimensioni preaddestrato. Per valutare questi modelli, proponiamo ArabicMTEB, una suite di benchmark completa che valuta le prestazioni dell'embedding di testo arabo cross-linguistico, multi-dialettale, multi-dominio e multi-culturale, coprendo otto compiti diversi e spaziando su 94 set di dati. Swan-Large raggiunge risultati all'avanguardia, superando Multilingual-E5-large nella maggior parte dei compiti arabi, mentre Swan-Small supera costantemente Multilingual-E5 base. Le nostre valutazioni approfondite dimostrano che i modelli Swan sono consapevoli sia dialettalmente che culturalmente, eccellendo in vari domini arabi offrendo al contempo un'efficienza monetaria significativa. Questo lavoro fa avanzare significativamente il campo della modellazione della lingua araba e fornisce risorse preziose per la ricerca futura e le applicazioni nel trattamento automatico del linguaggio naturale arabo. I nostri modelli e il benchmark saranno resi pubblicamente accessibili per la ricerca.

English

We introduce Swan, a family of embedding models centred around the Arabic language, addressing both small-scale and large-scale use cases. Swan includes two variants: Swan-Small, based on ARBERTv2, and Swan-Large, built on ArMistral, a pretrained Arabic large language model. To evaluate these models, we propose ArabicMTEB, a comprehensive benchmark suite that assesses cross-lingual, multi-dialectal, multi-domain, and multi-cultural Arabic text embedding performance, covering eight diverse tasks and spanning 94 datasets. Swan-Large achieves state-of-the-art results, outperforming Multilingual-E5-large in most Arabic tasks, while the Swan-Small consistently surpasses Multilingual-E5 base. Our extensive evaluations demonstrate that Swan models are both dialectally and culturally aware, excelling across various Arabic domains while offering significant monetary efficiency. This work significantly advances the field of Arabic language modelling and provides valuable resources for future research and applications in Arabic natural language processing. Our models and benchmark will be made publicly accessible for research.