Let op je stap (voor stap): Denkreeksen kunnen de prestaties verminderen bij taken waarbij nadenken mensen slechter maakt.

Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

October 27, 2024

Auteurs: Ryan Liu, Jiayi Geng, Addison J. Wu, Ilia Sucholutsky, Tania Lombrozo, Thomas L. Griffiths

cs.AI

Samenvatting

Keten-van-gedachten (CoT) prompting is een veelgebruikte strategie geworden voor het werken met grote taal- en multimodale modellen. Hoewel is aangetoond dat CoT de prestaties verbetert bij veel taken, blijft het een voortdurende inspanning om te bepalen in welke instellingen het effectief is. Met name is het nog steeds een open vraag in welke instellingen CoT systematisch de modelprestaties verlaagt. In dit artikel proberen we de kenmerken van taken te identificeren waar CoT de prestaties verlaagt door inspiratie te putten uit de cognitieve psychologie, waarbij wordt gekeken naar gevallen waarin (i) verbaal denken of overleg de prestaties van mensen schaadt, en (ii) de beperkingen die de menselijke prestaties regeren generaliseren naar taalmodellen. Drie van dergelijke gevallen zijn impliciet statistisch leren, visuele herkenning en classificatie met patronen die uitzonderingen bevatten. In uitgebreide experimenten in alle drie de instellingen constateren we dat een diverse verzameling toonaangevende modellen aanzienlijke prestatieverminderingen vertonen (bijv. tot 36,3% absolute nauwkeurigheid voor OpenAI o1-preview in vergelijking met GPT-4o) bij gebruik van redeneren op het moment van inferentie in vergelijking met nul-shot tegenhangers. We identificeren ook drie taken die voorwaarde (i) bevredigen maar niet (ii), en constateren dat hoewel verbaal denken de menselijke prestaties bij deze taken verlaagt, CoT de modelprestaties behoudt of verhoogt. Over het algemeen tonen onze resultaten aan dat hoewel er geen exacte parallel is tussen de cognitieve processen van modellen en die van mensen, het overwegen van gevallen waarin denken negatieve gevolgen heeft voor menselijke prestaties ons kan helpen instellingen te identificeren waar het negatieve gevolgen heeft voor modellen. Door de literatuur over menselijk overleg te verbinden met evaluaties van CoT, bieden we een nieuw instrument dat kan worden gebruikt om het effect van promptkeuzes en redeneren op het moment van inferentie te begrijpen.

English

Chain-of-thought (CoT) prompting has become a widely used strategy for working with large language and multimodal models. While CoT has been shown to improve performance across many tasks, determining the settings in which it is effective remains an ongoing effort. In particular, it is still an open question in what settings CoT systematically reduces model performance. In this paper, we seek to identify the characteristics of tasks where CoT reduces performance by drawing inspiration from cognitive psychology, looking at cases where (i) verbal thinking or deliberation hurts performance in humans, and (ii) the constraints governing human performance generalize to language models. Three such cases are implicit statistical learning, visual recognition, and classifying with patterns containing exceptions. In extensive experiments across all three settings, we find that a diverse collection of state-of-the-art models exhibit significant drop-offs in performance (e.g., up to 36.3% absolute accuracy for OpenAI o1-preview compared to GPT-4o) when using inference-time reasoning compared to zero-shot counterparts. We also identify three tasks that satisfy condition (i) but not (ii), and find that while verbal thinking reduces human performance in these tasks, CoT retains or increases model performance. Overall, our results show that while there is not an exact parallel between the cognitive processes of models and those of humans, considering cases where thinking has negative consequences for human performance can help us identify settings where it negatively impacts models. By connecting the literature on human deliberation with evaluations of CoT, we offer a new tool that can be used in understanding the impact of prompt choices and inference-time reasoning.