Schwan und ArabicMTEB: Dialektbewusste, auf Arabisch zentrierte, cross-linguale und cross-kulturelle Einbettungsmodelle und Benchmarks

Swan and ArabicMTEB: Dialect-Aware, Arabic-Centric, Cross-Lingual, and Cross-Cultural Embedding Models and Benchmarks

November 2, 2024

Autoren: Gagan Bhatia, El Moatez Billah Nagoudi, Abdellah El Mekki, Fakhraddin Alwajih, Muhammad Abdul-Mageed

cs.AI

Zusammenfassung

Wir stellen Swan vor, eine Familie von Einbettungsmodellen, die sich um die arabische Sprache dreht und sowohl für kleine als auch große Anwendungsfälle geeignet ist. Swan umfasst zwei Varianten: Swan-Small, basierend auf ARBERTv2, und Swan-Large, aufgebaut auf ArMistral, einem vorab trainierten großen arabischen Sprachmodell. Zur Bewertung dieser Modelle schlagen wir ArabicMTEB vor, eine umfassende Benchmark-Suite, die die Leistung der arabischen Texteinbettung in Bezug auf mehrsprachige, multidialektale, multidomänale und multikulturelle Aspekte bewertet. Diese Suite umfasst acht verschiedene Aufgaben und erstreckt sich über 94 Datensätze. Swan-Large erzielt Spitzenleistung, übertrifft Multilingual-E5-large in den meisten arabischen Aufgaben, während Swan-Small konsequent Multilingual-E5 base übertrifft. Unsere umfangreichen Bewertungen zeigen, dass Swan-Modelle sowohl dialektal als auch kulturell bewusst sind, sich in verschiedenen arabischen Bereichen hervortun und dabei eine signifikante Kosteneffizienz bieten. Diese Arbeit trägt maßgeblich zur Entwicklung des arabischen Sprachmodellierungssektors bei und stellt wertvolle Ressourcen für zukünftige Forschung und Anwendungen im Bereich der arabischen natürlichen Sprachverarbeitung bereit. Unsere Modelle und Benchmark werden öffentlich zugänglich gemacht.

English

We introduce Swan, a family of embedding models centred around the Arabic language, addressing both small-scale and large-scale use cases. Swan includes two variants: Swan-Small, based on ARBERTv2, and Swan-Large, built on ArMistral, a pretrained Arabic large language model. To evaluate these models, we propose ArabicMTEB, a comprehensive benchmark suite that assesses cross-lingual, multi-dialectal, multi-domain, and multi-cultural Arabic text embedding performance, covering eight diverse tasks and spanning 94 datasets. Swan-Large achieves state-of-the-art results, outperforming Multilingual-E5-large in most Arabic tasks, while the Swan-Small consistently surpasses Multilingual-E5 base. Our extensive evaluations demonstrate that Swan models are both dialectally and culturally aware, excelling across various Arabic domains while offering significant monetary efficiency. This work significantly advances the field of Arabic language modelling and provides valuable resources for future research and applications in Arabic natural language processing. Our models and benchmark will be made publicly accessible for research.