Achte auf deinen Schritt (Schritt für Schritt): Gedankenketten können die Leistung bei Aufgaben reduzieren, bei denen das Denken den Menschen schadet.

Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

October 27, 2024

Autoren: Ryan Liu, Jiayi Geng, Addison J. Wu, Ilia Sucholutsky, Tania Lombrozo, Thomas L. Griffiths

cs.AI

Zusammenfassung

Ketten-Denkanstöße (CoT) haben sich zu einer weit verbreiteten Strategie für die Arbeit mit großen Sprach- und multimodalen Modellen entwickelt. Obwohl gezeigt wurde, dass CoT die Leistung in vielen Aufgaben verbessert, bleibt die Bestimmung der Einstellungen, in denen es wirksam ist, eine fortlaufende Bemühung. Insbesondere ist es immer noch eine offene Frage, in welchen Einstellungen CoT systematisch die Modellleistung reduziert. In diesem Artikel versuchen wir, die Merkmale von Aufgaben zu identifizieren, in denen CoT die Leistung reduziert, indem wir uns von der kognitiven Psychologie inspirieren lassen und Fälle betrachten, in denen (i) verbales Denken oder Überlegungen die Leistung des Menschen beeinträchtigen und (ii) die Einschränkungen, die die menschliche Leistung regeln, auf Sprachmodelle verallgemeinern. Drei solcher Fälle sind implizites statistisches Lernen, visuelle Erkennung und Klassifizierung mit Mustern, die Ausnahmen enthalten. In umfangreichen Experimenten in allen drei Einstellungen stellen wir fest, dass eine vielfältige Sammlung von Spitzenmodellen signifikante Leistungseinbußen aufweist (z. B. bis zu 36,3% absolute Genauigkeit für OpenAI o1-preview im Vergleich zu GPT-4o), wenn bei der Inferenzzeit das Denken im Vergleich zu Null-Schuss-Gegenstücken verwendet wird. Wir identifizieren auch drei Aufgaben, die Bedingung (i) erfüllen, jedoch nicht (ii), und stellen fest, dass während verbales Denken die menschliche Leistung in diesen Aufgaben reduziert, CoT die Modellleistung beibehält oder erhöht. Insgesamt zeigen unsere Ergebnisse, dass es zwar keine genaue Parallele zwischen den kognitiven Prozessen von Modellen und denen von Menschen gibt, jedoch das Betrachten von Fällen, in denen Denken negative Auswirkungen auf die menschliche Leistung hat, uns helfen kann, Einstellungen zu identifizieren, in denen es sich negativ auf Modelle auswirkt. Durch die Verknüpfung der Literatur über menschliche Überlegungen mit Bewertungen von CoT bieten wir ein neues Werkzeug an, das zur Verständnis der Auswirkungen von Promptauswahlen und Inferenzzeit-Denken verwendet werden kann.

English

Chain-of-thought (CoT) prompting has become a widely used strategy for working with large language and multimodal models. While CoT has been shown to improve performance across many tasks, determining the settings in which it is effective remains an ongoing effort. In particular, it is still an open question in what settings CoT systematically reduces model performance. In this paper, we seek to identify the characteristics of tasks where CoT reduces performance by drawing inspiration from cognitive psychology, looking at cases where (i) verbal thinking or deliberation hurts performance in humans, and (ii) the constraints governing human performance generalize to language models. Three such cases are implicit statistical learning, visual recognition, and classifying with patterns containing exceptions. In extensive experiments across all three settings, we find that a diverse collection of state-of-the-art models exhibit significant drop-offs in performance (e.g., up to 36.3% absolute accuracy for OpenAI o1-preview compared to GPT-4o) when using inference-time reasoning compared to zero-shot counterparts. We also identify three tasks that satisfy condition (i) but not (ii), and find that while verbal thinking reduces human performance in these tasks, CoT retains or increases model performance. Overall, our results show that while there is not an exact parallel between the cognitive processes of models and those of humans, considering cases where thinking has negative consequences for human performance can help us identify settings where it negatively impacts models. By connecting the literature on human deliberation with evaluations of CoT, we offer a new tool that can be used in understanding the impact of prompt choices and inference-time reasoning.