대규모 언어 모델을 활용한 생성 심리측정을 기반으로 한 인간 및 AI 가치 측정

Measuring Human and AI Values based on Generative Psychometrics with Large Language Models

September 18, 2024

저자: Haoran Ye, Yuhang Xie, Yuanyi Ren, Hanjun Fang, Xin Zhang, Guojie Song

cs.AI

초록

인간의 가치와 그 측정은 오랜 역사를 가진 학제간 문제 연구입니다. 최근 AI의 발전으로 이 분야에 대한 관심이 다시 불붙었습니다. 대형 언어 모델(Large Language Models, LLMs)이 가치 측정의 도구로서 등장하면서 이에 대한 관심이 높아졌습니다. 본 연구는 가치에 대한 생성적 심리측정(Generative Psychometrics for Values, GPV)을 소개합니다. GPV는 LLM을 기반으로 한 데이터 주도형 가치 측정 패러다임으로, 텍스트로 나타난 선택적 지각에 이론적으로 근거를 두고 있습니다. 우리는 정확한 지각 수준의 가치 측정을 위해 LLM을 세밀하게 조정하고, LLM이 텍스트를 지각으로 파싱하는 능력을 확인하여 GPV 파이프라인의 핵심을 형성합니다. GPV를 인간이 작성한 블로그에 적용하여 이의 안정성, 타당성, 그리고 이전 심리학적 도구들에 비해 우월함을 입증합니다. 그리고 LLM 가치 측정으로 GPV를 확장함으로써, 1) 확장 가능하고 자유로운 형태의 출력을 기반으로 LLM 가치를 측정하는 심리측정 방법론을 소개하여 맥락별 측정을 가능하게 합니다; 2) 측정 패러다임의 비교 분석을 통해 이전 방법들의 응답 편향을 보여줍니다; 그리고 3) LLM 가치와 그 안전성을 연결하려는 시도를 통해 다양한 가치 체계의 예측력과 LLM 안전성에 미치는 가치의 영향을 밝혀냅니다. 학제간 노력을 통해, 우리는 AI를 통해 차세대 심리측정을 이끌어내고, 가치에 부합하는 AI를 위한 심리측정을 추구합니다.

English

Human values and their measurement are long-standing interdisciplinary inquiry. Recent advances in AI have sparked renewed interest in this area, with large language models (LLMs) emerging as both tools and subjects of value measurement. This work introduces Generative Psychometrics for Values (GPV), an LLM-based, data-driven value measurement paradigm, theoretically grounded in text-revealed selective perceptions. We begin by fine-tuning an LLM for accurate perception-level value measurement and verifying the capability of LLMs to parse texts into perceptions, forming the core of the GPV pipeline. Applying GPV to human-authored blogs, we demonstrate its stability, validity, and superiority over prior psychological tools. Then, extending GPV to LLM value measurement, we advance the current art with 1) a psychometric methodology that measures LLM values based on their scalable and free-form outputs, enabling context-specific measurement; 2) a comparative analysis of measurement paradigms, indicating response biases of prior methods; and 3) an attempt to bridge LLM values and their safety, revealing the predictive power of different value systems and the impacts of various values on LLM safety. Through interdisciplinary efforts, we aim to leverage AI for next-generation psychometrics and psychometrics for value-aligned AI.