IndicMMLU-Pro: Bewertung von Indic Large Language Models im Multi-Task Sprachverständnis

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding

January 27, 2025

Autoren: Sankalp KJ, Ashutosh Kumar, Laxmaan Balaji, Nikunj Kotecha, Vinija Jain, Aman Chadha, Sreyoshi Bhaduri

cs.AI

Zusammenfassung

Bekannt von mehr als 1,5 Milliarden Menschen im indischen Subkontinent, stellen Indische Sprachen aufgrund ihres reichen kulturellen Erbes, ihrer sprachlichen Vielfalt und komplexen Strukturen einzigartige Herausforderungen und Chancen für die Forschung im Bereich der natürlichen Sprachverarbeitung (NLP) dar. IndicMMLU-Pro ist ein umfassender Benchmark, der entwickelt wurde, um Large Language Models (LLMs) über Indische Sprachen hinweg zu bewerten und baut auf dem MMLU Pro (Massive Multitask Language Understanding) Framework auf. Es umfasst wichtige Sprachen wie Hindi, Bengalisch, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu und Urdu und adressiert die einzigartigen Herausforderungen und Chancen, die sich aus der sprachlichen Vielfalt des indischen Subkontinents ergeben. Dieser Benchmark umfasst eine Vielzahl von Aufgaben in Sprachverständnis, Schlussfolgerung und Generierung, die sorgfältig ausgearbeitet wurden, um die Feinheiten der indischen Sprachen einzufangen. IndicMMLU-Pro bietet ein standardisiertes Bewertungsframework, um die Forschungsgrenzen im Bereich der Indischen Sprach-KI voranzutreiben und die Entwicklung genauerer, effizienterer und kulturell sensibler Modelle zu erleichtern. Dieser Artikel skizziert die Designprinzipien des Benchmarks, die Aufgabentaxonomie und die Datensammlungsmethodik und präsentiert Baseline-Ergebnisse von State-of-the-Art multilingualen Modellen.

English

Known by more than 1.5 billion people in the Indian subcontinent, Indic languages present unique challenges and opportunities for natural language processing (NLP) research due to their rich cultural heritage, linguistic diversity, and complex structures. IndicMMLU-Pro is a comprehensive benchmark designed to evaluate Large Language Models (LLMs) across Indic languages, building upon the MMLU Pro (Massive Multitask Language Understanding) framework. Covering major languages such as Hindi, Bengali, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu, and Urdu, our benchmark addresses the unique challenges and opportunities presented by the linguistic diversity of the Indian subcontinent. This benchmark encompasses a wide range of tasks in language comprehension, reasoning, and generation, meticulously crafted to capture the intricacies of Indian languages. IndicMMLU-Pro provides a standardized evaluation framework to push the research boundaries in Indic language AI, facilitating the development of more accurate, efficient, and culturally sensitive models. This paper outlines the benchmarks' design principles, task taxonomy, and data collection methodology, and presents baseline results from state-of-the-art multilingual models.