IndicMMLU-Pro: Benchmarken van Indische Grote Taalmodellen voor Taalbegrip in Meerdere Taken

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding

January 27, 2025

Auteurs: Sankalp KJ, Ashutosh Kumar, Laxmaan Balaji, Nikunj Kotecha, Vinija Jain, Aman Chadha, Sreyoshi Bhaduri

cs.AI

Samenvatting

Bekend bij meer dan 1,5 miljard mensen op het Indiase subcontinent, bieden Indische talen unieke uitdagingen en kansen voor onderzoek naar natuurlijke taalverwerking (NLP) vanwege hun rijke culturele erfgoed, taalkundige diversiteit en complexe structuren. IndicMMLU-Pro is een uitgebreide benchmark ontworpen om Grote Taalmodellen (LLM's) te evalueren over Indische talen, voortbouwend op het MMLU Pro (Massive Multitask Language Understanding) framework. Met belangrijke talen zoals Hindi, Bengaals, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu en Urdu, adresseert onze benchmark de unieke uitdagingen en kansen die worden geboden door de taalkundige diversiteit van het Indiase subcontinent. Deze benchmark omvat een breed scala aan taken op het gebied van taalbegrip, redeneren en generatie, zorgvuldig ontworpen om de subtiliteiten van Indische talen vast te leggen. IndicMMLU-Pro biedt een gestandaardiseerd evaluatiekader om de onderzoeksgrenzen te verleggen in de Indische taal AI, wat de ontwikkeling van nauwkeurigere, efficiëntere en cultureel gevoelige modellen vergemakkelijkt. Dit artikel schetst de ontwerpprincipes van de benchmarks, de taak-taxonomie en de methodologie voor gegevensverzameling, en presenteert basisresultaten van toonaangevende meertalige modellen.

English

Known by more than 1.5 billion people in the Indian subcontinent, Indic languages present unique challenges and opportunities for natural language processing (NLP) research due to their rich cultural heritage, linguistic diversity, and complex structures. IndicMMLU-Pro is a comprehensive benchmark designed to evaluate Large Language Models (LLMs) across Indic languages, building upon the MMLU Pro (Massive Multitask Language Understanding) framework. Covering major languages such as Hindi, Bengali, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu, and Urdu, our benchmark addresses the unique challenges and opportunities presented by the linguistic diversity of the Indian subcontinent. This benchmark encompasses a wide range of tasks in language comprehension, reasoning, and generation, meticulously crafted to capture the intricacies of Indian languages. IndicMMLU-Pro provides a standardized evaluation framework to push the research boundaries in Indic language AI, facilitating the development of more accurate, efficient, and culturally sensitive models. This paper outlines the benchmarks' design principles, task taxonomy, and data collection methodology, and presents baseline results from state-of-the-art multilingual models.