과도한 사고의 위험: 에이전틱 작업에서의 추론-행동 딜레마 검토

The Danger of Overthinking: Examining the Reasoning-Action Dilemma in Agentic Tasks

February 12, 2025

저자: Alejandro Cuadron, Dacheng Li, Wenjie Ma, Xingyao Wang, Yichuan Wang, Siyuan Zhuang, Shu Liu, Luis Gaspar Schroeder, Tian Xia, Huanzhi Mao, Nicholas Thumiger, Aditya Desai, Ion Stoica, Ana Klimovic, Graham Neubig, Joseph E. Gonzalez

cs.AI

초록

대규모 추론 모델(LRMs)은 AI 문제 해결 능력에서의 중요한 발전을 나타내지만, 상호작용 환경에서의 효과는 제한될 수 있습니다. 본 논문은 LRMs에서의 과도한 사고에 대해 소개하고 분석합니다. 이는 모델이 환경 상호작용보다는 내부 추론 체인을 선호하는 현상입니다. SWE Bench Verified를 사용하여 소프트웨어 공학 작업에 대한 실험을 통해 우리는 세 가지 반복적인 패턴을 관찰합니다: 분석 마비, 독단적 행동 및 조기 탈락. 우리는 이러한 행동을 연구하기 위한 프레임워크를 제안하며, 이는 인간 전문가 평가와 관련이 있으며 4018개의 궤적을 분석합니다. 우리는 과도한 사고 점수가 높을수록 성능이 감소하며, 추론 모델이 비추론 모델에 비해 과도한 사고에 강한 경향을 보인다는 것을 관찰합니다. 우리의 분석 결과, 대리 환경에서 과도한 사고를 완화하는 간단한 노력(예: 과도한 사고 점수가 낮은 솔루션 선택)는 모델 성능을 거의 30% 향상시킬 뿐만 아니라 계산 비용을 43% 줄일 수 있음을 시사합니다. 이러한 결과는 과도한 사고를 완화하는 것이 강력한 실용적 영향을 가지고 있음을 시사합니다. 우리는 내부 기능 호출 능력과 선택적 강화 학습을 활용하여 과도한 사고 경향을 완화할 수 있다고 제안합니다. 또한 우리의 평가 프레임워크와 데이터셋을 오픈 소스로 제공하여 이 방향의 연구를 촉진하고자 합니다. (https://github.com/AlexCuadron/Overthinking)

English

Large Reasoning Models (LRMs) represent a breakthrough in AI problem-solving capabilities, but their effectiveness in interactive environments can be limited. This paper introduces and analyzes overthinking in LRMs. A phenomenon where models favor extended internal reasoning chains over environmental interaction. Through experiments on software engineering tasks using SWE Bench Verified, we observe three recurring patterns: Analysis Paralysis, Rogue Actions, and Premature Disengagement. We propose a framework to study these behaviors, which correlates with human expert assessments, and analyze 4018 trajectories. We observe that higher overthinking scores correlate with decreased performance, with reasoning models exhibiting stronger tendencies toward overthinking compared to non-reasoning models. Our analysis reveals that simple efforts to mitigate overthinking in agentic environments, such as selecting the solution with the lower overthinking score, can improve model performance by almost 30% while reducing computational costs by 43%. These results suggest that mitigating overthinking has strong practical implications. We suggest that by leveraging native function-calling capabilities and selective reinforcement learning overthinking tendencies could be mitigated. We also open-source our evaluation framework and dataset to facilitate research in this direction at https://github.com/AlexCuadron/Overthinking.