LLM은 내재적 추론에서 단계별로 생각하지 않습니다.

LLMs Do Not Think Step-by-step In Implicit Reasoning

November 24, 2024

저자: Yijiong Yu

cs.AI

초록

Chain-of-Thought(사고 연쇄)가 복잡한 작업에서 LLMs의 성능을 현저히 향상시킬 수 있다는 것은 잘 알려져 있습니다. 그러나 이는 추론 속도가 느려지고 계산 비용이 높아지는 단점을 동반합니다. 이에 많은 연구들이 LLMs가 중간 단계를 명시적으로 생성할 필요가 없는 암시적 CoT를 사용하려고 시도해 왔습니다. 그러나 그들의 효과성과 전형적인 명시적 CoT 방법 사이에는 여전히 격차가 존재합니다. 이는 우리에게 의문을 남깁니다. 암시적 CoT가 정말 명시적 CoT와 동등한가요? 따라서 본 연구에서는 실험을 통해 이 질문에 대답합니다. 우리는 모델이 암시적 CoT를 수행할 때 숨겨진 상태에서 중간 단계의 정보를 조사합니다. 결과는 놀랍게도 LLMs가 중간 단계에 대해 거의 고려하지 않는다는 것을 나타내며, 이는 엄격한 단계별 추론보다는 경험에 의존할 수도 있다는 것을 시사합니다. 게다가, 우리는 LLMs의 암시적 추론 능력이 영향을 받고 불안정하다는 것을 발견하여, 복잡한 작업을 효과적으로 지원하기 위해 명시적 CoT의 필요성을 재확인합니다.

English

It has been well-known that Chain-of-Thought can remarkably enhance LLMs' performance on complex tasks. However, because it also introduces slower inference speeds and higher computational costs, many researches have attempted to use implicit CoT, which does not need LLMs to explicitly generate the intermediate steps. But there is still gap between their efficacy and typical explicit CoT methods. This leaves us a doubt that, does implicit CoT really equal to explicit CoT? Therefore, in this study, we address this question through experiments. We probe the information of intermediate steps from the model's hidden states when it is performing implicit CoT. The results surprisingly indicate that LLMs hardly think about intermediate steps, suggesting they may just rely on experience rather than strict step-by-step reasoning. Moreover, we find LLMs' implicit reasoning capabilities are susceptible and unstable, reaffirming the necessity of explicit CoT to effectively support complex tasks.