Reflectie-Bench: het onderzoeken van AI-intelligentie met reflectie

Reflection-Bench: probing AI intelligence with reflection

October 21, 2024
Auteurs: Lingyu Li, Yixu Wang, Haiquan Zhao, Shuqi Kong, Yan Teng, Chunbo Li, Yingchun Wang
cs.AI

Samenvatting

Het vermogen om overtuigingen of gedrag aan te passen als reactie op onverwachte uitkomsten, reflectie genoemd, is fundamenteel voor de interactie van intelligente systemen met de wereld. Vanuit een cognitief-wetenschappelijk perspectief dient dit als een kernprincipe van intelligentie dat van toepassing is op zowel menselijke als AI-systemen. Om het debat over de intelligentie van grote taalmodellen (LLM's) aan te pakken, stellen we Reflection-Bench voor, een uitgebreide benchmark bestaande uit 7 taken die kern cognitieve functies omvatten die cruciaal zijn voor reflectie, waaronder waarneming, geheugen, geloofsupdatering, besluitvorming, voorspelling, tegenfeitelijke denken en meta-reflectie. We evalueren de prestaties van 13 prominente LLM's zoals OpenAI o1, GPT-4, Claude 3.5 Sonnet, enz. De resultaten geven aan dat huidige LLM's nog steeds tekortschieten in reflectievermogen. We bespreken de onderliggende oorzaken van deze resultaten en suggereren mogelijke richtingen voor toekomstig onderzoek. Tot slot biedt Reflection-Bench zowel evaluatietools als inspiratie voor de ontwikkeling van AI die in staat is om betrouwbaar te interacteren met de omgeving. Onze data en code zijn beschikbaar op https://github.com/YabYum/ReflectionBench.
English
The ability to adapt beliefs or behaviors in response to unexpected outcomes, reflection, is fundamental to intelligent systems' interaction with the world. From a cognitive science perspective, this serves as a core principle of intelligence applicable to both human and AI systems. To address the debate on the intelligence of large language models (LLMs), we propose Reflection-Bench, a comprehensive benchmark comprising 7 tasks spanning core cognitive functions crucial for reflection, including perception, memory, belief updating, decision-making, prediction, counterfactual thinking, and meta-reflection. We evaluate the performances of 13 prominent LLMs such as OpenAI o1, GPT-4, Claude 3.5 Sonnet, etc. The results indicate that current LLMs still lack satisfactory reflection ability. We discuss the underlying causes of these results and suggest potential avenues for future research. In conclusion, Reflection-Bench offers both evaluation tools and inspiration for developing AI capable of reliably interacting with the environment. Our data and code are available at https://github.com/YabYum/ReflectionBench.

Summary

AI-Generated Summary

PDF52November 16, 2024