Генеративная оценка сложных рассуждений в больших языковых моделях

Generative Evaluation of Complex Reasoning in Large Language Models

April 3, 2025

Авторы: Haowei Lin, Xiangyu Wang, Ruilin Yan, Baizhou Huang, Haotian Ye, Jianhua Zhu, Zihao Wang, James Zou, Jianzhu Ma, Yitao Liang

cs.AI

Аннотация

С появлением мощных больших языковых моделей (LLM), демонстрирующих сверхчеловеческие способности к рассуждению, возникает важный вопрос: действительно ли LLM рассуждают или просто воспроизводят ответы из своих обширных, собранных из интернета обучающих наборов данных? Публично выпущенные бенчмарки неизбежно становятся "загрязненными" после включения в последующие обучающие наборы LLM, что подрывает их надежность как объективных инструментов оценки. Для решения этой проблемы мы представляем KUMO — генеративную оценочную платформу, специально разработанную для оценки способности LLM к рассуждению. KUMO синергетически сочетает LLM с символическими движками для динамического создания разнообразных многошаговых задач на рассуждение, которые частично наблюдаемы и регулируемы по сложности. С помощью автоматизированного конвейера KUMO непрерывно генерирует новые задачи в открытых областях, вынуждая модели демонстрировать подлинное обобщение, а не запоминание. Мы оценили 23 передовые LLM на 5 000 задач в 100 областях, созданных KUMO, сравнив их способности к рассуждению с результатами студентов университетов. Наши результаты показывают, что многие LLM превзошли уровень университетских студентов в простых задачах на рассуждение, а масштабированные для рассуждения LLM достигают университетского уровня в сложных задачах. Более того, производительность LLM на задачах KUMO сильно коррелирует с результатами на недавно выпущенных реальных бенчмарках на рассуждение, что подчеркивает ценность KUMO как надежного и долговечного инструмента оценки подлинных способностей LLM к рассуждению.

English

With powerful large language models (LLMs) demonstrating superhuman reasoning capabilities, a critical question arises: Do LLMs genuinely reason, or do they merely recall answers from their extensive, web-scraped training datasets? Publicly released benchmarks inevitably become contaminated once incorporated into subsequent LLM training sets, undermining their reliability as faithful assessments. To address this, we introduce KUMO, a generative evaluation framework designed specifically for assessing reasoning in LLMs. KUMO synergistically combines LLMs with symbolic engines to dynamically produce diverse, multi-turn reasoning tasks that are partially observable and adjustable in difficulty. Through an automated pipeline, KUMO continuously generates novel tasks across open-ended domains, compelling models to demonstrate genuine generalization rather than memorization. We evaluated 23 state-of-the-art LLMs on 5,000 tasks across 100 domains created by KUMO, benchmarking their reasoning abilities against university students. Our findings reveal that many LLMs have outperformed university-level performance on easy reasoning tasks, and reasoning-scaled LLMs reach university-level performance on complex reasoning challenges. Moreover, LLM performance on KUMO tasks correlates strongly with results on newly released real-world reasoning benchmarks, underscoring KUMO's value as a robust, enduring assessment tool for genuine LLM reasoning capabilities.