Могут ли большие языковые модели обнаруживать ошибки в длинных цепочках логических рассуждений?

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

February 26, 2025

Авторы: Yancheng He, Shilong Li, Jiaheng Liu, Weixun Wang, Xingyuan Bu, Ge Zhang, Zhongyuan Peng, Zhaoxiang Zhang, Wenbo Su, Bo Zheng

cs.AI

Аннотация

В последнее время модели, подобные o1, привлекли значительное внимание, поскольку они генерируют длинные цепочки рассуждений (Chain-of-Thought, CoT), что позволяет улучшить способности к рассуждению у существующих крупных языковых моделей (Large Language Models, LLMs). В данной статье, чтобы понять качество этих длинных CoT и оценить способность существующих LLM критически анализировать их, мы представляем DeltaBench, включающий сгенерированные длинные CoT от различных моделей, подобных o1 (например, QwQ, DeepSeek-R1), для различных задач рассуждений (например, математика, программирование, общие рассуждения), чтобы измерить способность обнаруживать ошибки в длинных CoT. На основе DeltaBench мы сначала проводим детальный анализ сгенерированных длинных CoT, чтобы выявить эффективность и производительность различных моделей, подобных o1. Затем мы проводим обширные оценки существующих моделей оценки процессов (process reward models, PRMs) и критических моделей для обнаружения ошибок в каждом аннотированном процессе, что позволяет исследовать границы и ограничения существующих PRM и критических моделей. Наконец, мы надеемся, что DeltaBench поможет разработчикам лучше понять способности своих моделей к длинным CoT-рассуждениям.

English

Recently, o1-like models have drawn significant attention, where these models produce the long Chain-of-Thought (CoT) reasoning steps to improve the reasoning abilities of existing Large Language Models (LLMs). In this paper, to understand the qualities of these long CoTs and measure the critique abilities of existing LLMs on these long CoTs, we introduce the DeltaBench, including the generated long CoTs from different o1-like models (e.g., QwQ, DeepSeek-R1) for different reasoning tasks (e.g., Math, Code, General Reasoning), to measure the ability to detect errors in long CoT reasoning. Based on DeltaBench, we first perform fine-grained analysis of the generated long CoTs to discover the effectiveness and efficiency of different o1-like models. Then, we conduct extensive evaluations of existing process reward models (PRMs) and critic models to detect the errors of each annotated process, which aims to investigate the boundaries and limitations of existing PRMs and critic models. Finally, we hope that DeltaBench could guide developers to better understand the long CoT reasoning abilities of their models.