한 발짝씩 조심하세요: 사고 연쇄가 사람의 성능을 저하시킬 수 있는 작업들

Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

October 27, 2024

저자: Ryan Liu, Jiayi Geng, Addison J. Wu, Ilia Sucholutsky, Tania Lombrozo, Thomas L. Griffiths

cs.AI

초록

사고 연쇄 (Chain-of-thought, CoT) 프롬프팅은 대형 언어 및 다중 모달 모델과 작업하는 데 널리 사용되는 전략이 되었습니다. CoT는 다양한 작업에서 성능을 향상시키는 것으로 입증되었지만, 그 효과적인 설정을 결정하는 것은 계속되는 노력이 필요합니다. 특히, CoT가 모델 성능을 체계적으로 저하시키는 설정에 대해 여전히 열린 질문입니다. 본 논문에서는 CoT가 성능을 저하시키는 작업의 특성을 식별하기 위해 인지 심리학에서 영감을 얻어 (i) 언어적 사고나 숙고가 인간의 성능을 해치는 경우, 그리고 (ii) 인간의 성능을 규제하는 제약이 언어 모델에 일반화되는 경우를 살펴봅니다. 암시적 통계 학습, 시각 인식, 그리고 예외를 포함하는 패턴을 분류하는 세 가지 경우가 있습니다. 세 가지 설정에서 수행된 방대한 실험에서 최첨단 모델의 다양한 모음이 추론 시간 추론을 사용할 때 성능이 상당히 저하되는 것을 발견했습니다 (예: OpenAI o1-preview의 절대 정확도가 GPT-4o와 비교하여 최대 36.3% 감소). 또한 (i) 조건을 충족하지만 (ii) 조건을 충족하지 않는 세 가지 작업을 식별하고, 이러한 작업에서 언어적 사고가 인간의 성능을 저하시키는 반면, CoT는 모델 성능을 유지하거나 향상시킨다는 것을 발견했습니다. 전반적으로, 모델의 인지 과정과 인간의 인지 과정 간에 정확한 병렬이 없음을 보여주는 결과이지만, 사고가 인간의 성능에 부정적인 영향을 미치는 경우를 식별함으로써 모델에 부정적인 영향을 미치는 설정을 식별하는 데 도움이 되는 것을 보여줍니다. 인간의 숙고에 대한 문헌과 CoT의 평가를 연결함으로써, 프롬프트 선택과 추론 시간 추론의 영향을 이해하는 데 사용할 수 있는 새로운 도구를 제공합니다.

English

Chain-of-thought (CoT) prompting has become a widely used strategy for working with large language and multimodal models. While CoT has been shown to improve performance across many tasks, determining the settings in which it is effective remains an ongoing effort. In particular, it is still an open question in what settings CoT systematically reduces model performance. In this paper, we seek to identify the characteristics of tasks where CoT reduces performance by drawing inspiration from cognitive psychology, looking at cases where (i) verbal thinking or deliberation hurts performance in humans, and (ii) the constraints governing human performance generalize to language models. Three such cases are implicit statistical learning, visual recognition, and classifying with patterns containing exceptions. In extensive experiments across all three settings, we find that a diverse collection of state-of-the-art models exhibit significant drop-offs in performance (e.g., up to 36.3% absolute accuracy for OpenAI o1-preview compared to GPT-4o) when using inference-time reasoning compared to zero-shot counterparts. We also identify three tasks that satisfy condition (i) but not (ii), and find that while verbal thinking reduces human performance in these tasks, CoT retains or increases model performance. Overall, our results show that while there is not an exact parallel between the cognitive processes of models and those of humans, considering cases where thinking has negative consequences for human performance can help us identify settings where it negatively impacts models. By connecting the literature on human deliberation with evaluations of CoT, we offer a new tool that can be used in understanding the impact of prompt choices and inference-time reasoning.