FINEREASON: Оценка и улучшение осознанного рассуждения языковых моделей через решение рефлексивных головоломок

FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving

February 27, 2025

Авторы: Guizhen Chen, Weiwen Xu, Hao Zhang, Hou Pong Chan, Chaoqun Liu, Lidong Bing, Deli Zhao, Anh Tuan Luu, Yu Rong

cs.AI

Аннотация

Многие сложные задачи, требующие рассуждений, нуждаются не только в быстрых, интуитивных ответах, но и в более обдуманном, многошаговом подходе. Недавние достижения в области больших языковых моделей (LLM) подчеркивают важный переход от "Системы 1" — способа быстрых реакций — к "Системе 2" — стилю решения задач через размышление и исправление ошибок. Однако текущие тесты в основном сосредоточены на точности конечного ответа, оставляя без внимания промежуточные шаги рассуждений модели. Это не позволяет оценить способность модели к рефлексии и исправлению ошибок в процессе рассуждений. Чтобы устранить этот пробел, мы представляем FINEREASON — бенчмарк логических головоломок для детальной оценки способностей LLM к рассуждениям. Каждая головоломка может быть разложена на атомарные шаги, что делает её идеальной для строгой проверки промежуточной корректности. На основе этого мы вводим две задачи: проверку состояния и переход между состояниями, что позволяет комплексно оценить, как модели анализируют текущую ситуацию и планируют следующий шаг. Для поддержки более широких исследований мы также предоставляем обучающий набор головоломок, направленный на улучшение производительности в общих математических задачах. Мы показываем, что модели, обученные на наших данных для проверки состояния и переходов, демонстрируют улучшение в математических рассуждениях до 5,1% на тесте GSM8K.

English

Many challenging reasoning tasks require not just rapid, intuitive responses, but a more deliberate, multi-step approach. Recent progress in large language models (LLMs) highlights an important shift from the "System 1" way of quick reactions to the "System 2" style of reflection-and-correction problem solving. However, current benchmarks heavily rely on the final-answer accuracy, leaving much of a model's intermediate reasoning steps unexamined. This fails to assess the model's ability to reflect and rectify mistakes within the reasoning process. To bridge this gap, we introduce FINEREASON, a logic-puzzle benchmark for fine-grained evaluation of LLMs' reasoning capabilities. Each puzzle can be decomposed into atomic steps, making it ideal for rigorous validation of intermediate correctness. Building on this, we introduce two tasks: state checking, and state transition, for a comprehensive evaluation of how models assess the current situation and plan the next move. To support broader research, we also provide a puzzle training set aimed at enhancing performance on general mathematical tasks. We show that models trained on our state checking and transition data demonstrate gains in math reasoning by up to 5.1% on GSM8K.