로마스: 루마니아어 수학 추론 벤치마크

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

저자: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

초록

수학은 오랫동안 주로 자연 언어를 통해 전달되어 왔으며, 주로 인간의 이해를 위해 사용되었습니다. 기계화된 수학과 증명 보조 도구의 등장으로 인해, 비공식적인 수학 텍스트를 이해하는 필요성이 증가하고 있지만, 대부분의 기존 벤치마크는 영어에만 초점을 맞추고 다른 언어를 간과하고 있습니다. 본 논문은 루마니아어 수학 추론 벤치마크인 RoMath를 소개합니다. RoMath는 RoMath-Baccalaureate, RoMath-Competitions 및 RoMath-Synthetic 세 가지 데이터셋으로 구성되어 있으며, 다양한 수학 영역과 난이도 수준을 다루며, 비영어권 언어 모델을 개선하고 다국어 인공지능 개발을 촉진하기 위한 목적을 가지고 있습니다. 유일한 언어적 특징을 가진 저자원 언어인 루마니아어에 초점을 맞추어, RoMath는 영어 중심 모델의 한계를 해소하고 단순한 자동 번역을 넘어 전용 자원의 필요성을 강조합니다. 우리는 여러 개의 오픈 웨이트 언어 모델을 벤치마킹하며, 소외된 언어를 위한 자원을 만드는 중요성을 강조합니다. 코드와 데이터셋을 공개합니다.

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.