기초 모델에서의 인간과 유사한 정서적 인지

Human-like Affective Cognition in Foundation Models

September 18, 2024

저자: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

초록

감정을 이해하는 것은 인간 상호작용과 경험에 근본적입니다. 인간은 상황이나 얼굴 표정으로부터 감정을 쉽게 추론하며, 감정으로부터 상황을 유추하며 다양한 감성 인지를 수행합니다. 현대 AI가 이러한 추론에서 얼마나 능숙한지에 대해 어떻게 평가할 수 있을까요? 우리는 기초 모델에서 감성 인지를 테스트하기 위한 평가 프레임워크를 소개합니다. 심리학 이론을 바탕으로, 우리는 감정 평가, 표현, 결과 사이의 관계를 탐구하는 1,280가지 다양한 시나리오를 생성합니다. 우리는 기초 모델(GPT-4, Claude-3, Gemini-1.5-Pro)과 인간(N = 567)의 능력을 신중히 선택된 조건에서 평가합니다. 결과는 기초 모델이 인간 직관과 일치하거나 인간 간 합의를 초과하는 것으로 나타납니다. 일부 조건에서 모델은 "초인적"이며, 평균 인간보다 모달 인간 판단을 더 잘 예측합니다. 모든 모델은 사고 연쇄 추론에서 혜택을 받습니다. 이는 기초 모델이 감정에 대한 인간과 유사한 이해력과 그들이 믿음과 행동에 미치는 영향을 습득했음을 시사합니다.

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.