Swan et ArabicMTEB : Modèles et référentiels d'incorporation conscients des dialectes, centrés sur l'arabe, interlingues et interculturels

Swan and ArabicMTEB: Dialect-Aware, Arabic-Centric, Cross-Lingual, and Cross-Cultural Embedding Models and Benchmarks

November 2, 2024

Auteurs: Gagan Bhatia, El Moatez Billah Nagoudi, Abdellah El Mekki, Fakhraddin Alwajih, Muhammad Abdul-Mageed

cs.AI

Résumé

Nous présentons Swan, une famille de modèles d'incorporation centrés autour de la langue arabe, répondant aux cas d'utilisation à petite et grande échelle. Swan comprend deux variantes : Swan-Small, basé sur ARBERTv2, et Swan-Large, construit sur ArMistral, un modèle de langue arabe large pré-entraîné. Pour évaluer ces modèles, nous proposons ArabicMTEB, une suite de référence complète qui évalue les performances d'incorporation de texte arabe croisé, multi-dialectal, multi-domaine et multi-culturel, couvrant huit tâches diverses et s'étendant sur 94 ensembles de données. Swan-Large atteint des résultats de pointe, surpassant Multilingual-E5-large dans la plupart des tâches arabes, tandis que le Swan-Small surpasse systématiquement Multilingual-E5 base. Nos évaluations approfondies démontrent que les modèles Swan sont à la fois conscients des dialectes et de la culture, excellant dans divers domaines arabes tout en offrant une efficacité monétaire significative. Ce travail fait progresser de manière significative le domaine de la modélisation de la langue arabe et fournit des ressources précieuses pour la recherche future et les applications dans le traitement automatique du langage naturel en arabe. Nos modèles et notre référentiel seront rendus publiquement accessibles à la recherche.

English

We introduce Swan, a family of embedding models centred around the Arabic language, addressing both small-scale and large-scale use cases. Swan includes two variants: Swan-Small, based on ARBERTv2, and Swan-Large, built on ArMistral, a pretrained Arabic large language model. To evaluate these models, we propose ArabicMTEB, a comprehensive benchmark suite that assesses cross-lingual, multi-dialectal, multi-domain, and multi-cultural Arabic text embedding performance, covering eight diverse tasks and spanning 94 datasets. Swan-Large achieves state-of-the-art results, outperforming Multilingual-E5-large in most Arabic tasks, while the Swan-Small consistently surpasses Multilingual-E5 base. Our extensive evaluations demonstrate that Swan models are both dialectally and culturally aware, excelling across various Arabic domains while offering significant monetary efficiency. This work significantly advances the field of Arabic language modelling and provides valuable resources for future research and applications in Arabic natural language processing. Our models and benchmark will be made publicly accessible for research.