한 예가 보여지면, 많은 개념이 알려집니다! 수학적 LLMs에서의 반례 주도 개념 추론

One Example Shown, Many Concepts Known! Counterexample-Driven Conceptual Reasoning in Mathematical LLMs

February 12, 2025

저자: Yinghui Li, Jiayi Kuang, Haojing Huang, Zhikun Xu, Xinnian Liang, Yi Yu, Wenlian Lu, Yangning Li, Xiaoyu Tan, Chao Qu, Ying Shen, Hai-Tao Zheng, Philip S. Yu

cs.AI

초록

수학적 대규모 언어 모델(LLMs)을 활용한 증명 생성은 LLMs 연구의 근본적인 주제입니다. 현재 LLMs의 명제를 증명하는 능력은 주로 훈련 중 해당 증명 과정을 만났는지에 따라 크게 달라집니다. 이 의존성은 수학 정리 및 관련 개념에 대한 깊은 이해를 제한합니다. 인간 수학 교육에서 흔히 사용되는 "반례에 의한 증명" 교육 방법에서 영감을 받아, 우리의 연구는 LLMs의 수학적 추론과 증명 능력을 개선하기 위해 반례를 통해 진행됩니다. 구체적으로, 우리는 고등 교육 수준의 수학적 벤치마크인 CounterMATH를 수동으로 작성하여 LLMs가 반례를 제시하여 수학적 명제를 증명하고 수학적 개념을 평가하도록 합니다. 더불어, 모델 개선을 위해 훈련 데이터를 자동으로 얻기 위한 데이터 엔지니어링 프레임워크를 개발합니다. 광범위한 실험과 자세한 분석을 통해 CounterMATH가 도전적임을 입증하며, OpenAI o1과 같은 LLMs가 충분한 반례 주도 증명 능력을 갖추고 있지 않다는 것을 보여줍니다. 또한, 모델 훈련에 대한 우리의 탐구는 LLMs의 반례 주도 개념적 추론 능력을 강화하는 것이 전반적인 수학 능력 향상에 중요하다는 것을 밝혀냅니다. 우리는 우리의 연구가 수학적 LLMs 커뮤니티에 새로운 시각을 제공한다고 믿습니다.

English

Leveraging mathematical Large Language Models (LLMs) for proof generation is a fundamental topic in LLMs research. We argue that the ability of current LLMs to prove statements largely depends on whether they have encountered the relevant proof process during training. This reliance limits their deeper understanding of mathematical theorems and related concepts. Inspired by the pedagogical method of "proof by counterexamples" commonly used in human mathematics education, our work aims to enhance LLMs' ability to conduct mathematical reasoning and proof through counterexamples. Specifically, we manually create a high-quality, university-level mathematical benchmark, CounterMATH, which requires LLMs to prove mathematical statements by providing counterexamples, thereby assessing their grasp of mathematical concepts. Additionally, we develop a data engineering framework to automatically obtain training data for further model improvement. Extensive experiments and detailed analyses demonstrate that CounterMATH is challenging, indicating that LLMs, such as OpenAI o1, have insufficient counterexample-driven proof capabilities. Moreover, our exploration into model training reveals that strengthening LLMs' counterexample-driven conceptual reasoning abilities is crucial for improving their overall mathematical capabilities. We believe that our work offers new perspectives on the community of mathematical LLMs.