CBT-Bench: Evaluatie van Grote Taalmodellen bij het Ondersteunen van Cognitieve Gedragstherapie

CBT-Bench: Evaluating Large Language Models on Assisting Cognitive Behavior Therapy

October 17, 2024

Auteurs: Mian Zhang, Xianjun Yang, Xinlu Zhang, Travis Labrum, Jamie C. Chiu, Shaun M. Eack, Fei Fang, William Yang Wang, Zhiyu Zoey Chen

cs.AI

Samenvatting

Er bestaat vandaag een aanzienlijke kloof tussen de behoeften van patiënten en de beschikbare mentale gezondheidssteun. In dit artikel streven we ernaar om grondig de potentie van het gebruik van Grote Taalmodellen (GTM's) te onderzoeken om professionele psychotherapie te ondersteunen. Hiertoe stellen we een nieuwe benchmark voor, CBT-BENCH, voor de systematische evaluatie van cognitieve gedragstherapie (CGT) ondersteuning. We omvatten drie niveaus van taken in CBT-BENCH: I: Basis CGT-kennisverwerving, met de taak van meerkeuzevragen; II: Begrip van cognitief model, met de taken van classificatie van cognitieve vertekening, classificatie van primaire kernovertuiging en gedetailleerde kernovertuigingsclassificatie; III: Generatie van therapeutische reacties, met de taak om reacties te genereren op de spraak van de patiënt in CGT-therapiesessies. Deze taken omvatten essentiële aspecten van CGT die mogelijk verbeterd kunnen worden door AI-ondersteuning, terwijl ook een hiërarchie van capaciteitseisen wordt geschetst, variërend van basiskennisreproductie tot deelname aan echte therapeutische gesprekken. We hebben representatieve GTM's geëvalueerd op onze benchmark. Experimentele resultaten geven aan dat hoewel GTM's goed presteren in het reproduceren van CGT-kennis, ze tekortschieten in complexe real-world scenario's diepgaande analyse van cognitieve structuren van patiënten vereisen en het genereren van effectieve reacties, wat wijst op potentieel toekomstig werk.

English

There is a significant gap between patient needs and available mental health support today. In this paper, we aim to thoroughly examine the potential of using Large Language Models (LLMs) to assist professional psychotherapy. To this end, we propose a new benchmark, CBT-BENCH, for the systematic evaluation of cognitive behavioral therapy (CBT) assistance. We include three levels of tasks in CBT-BENCH: I: Basic CBT knowledge acquisition, with the task of multiple-choice questions; II: Cognitive model understanding, with the tasks of cognitive distortion classification, primary core belief classification, and fine-grained core belief classification; III: Therapeutic response generation, with the task of generating responses to patient speech in CBT therapy sessions. These tasks encompass key aspects of CBT that could potentially be enhanced through AI assistance, while also outlining a hierarchy of capability requirements, ranging from basic knowledge recitation to engaging in real therapeutic conversations. We evaluated representative LLMs on our benchmark. Experimental results indicate that while LLMs perform well in reciting CBT knowledge, they fall short in complex real-world scenarios requiring deep analysis of patients' cognitive structures and generating effective responses, suggesting potential future work.