OpenCharacter: 대규모 합성 페르소나를 활용한 맞춤형 역할 연구 LLMs 훈련

OpenCharacter: Training Customizable Role-Playing LLMs with Large-Scale Synthetic Personas

January 26, 2025

저자: Xiaoyang Wang, Hongming Zhang, Tao Ge, Wenhao Yu, Dian Yu, Dong Yu

cs.AI

초록

대규모 언어 모델(LLMs)에서의 맞춤형 역할 연기, 즉 캐릭터 일반화는 다양성과 비용 효율성으로 인해 역할 연기 대화 에이전트를 개발하고 배포하는 데 점점 더 주목받고 있습니다. 본 연구는 대규모 데이터 합성 방법을 탐구하여 LLMs에 캐릭터 일반화 능력을 제공합니다. 우리는 Persona Hub의 페르소나를 사용하여 대규모 캐릭터 프로필을 합성한 후 응답 재작성과 응답 생성 두 가지 전략을 탐구하여 캐릭터에 맞는 지시 응답을 생성합니다. 우리의 합성 지시 조정 데이터가 캐릭터 일반화에 대한 효과를 검증하기 위해 LLaMA-3 8B 모델을 사용한 지도 미세 조정(SFT)을 수행합니다. 우리의 최고 성능 모델은 원래 LLaMA-3 8B Instruct 모델을 강화하고 역할 연기 대화에서 GPT-4o 모델과 유사한 성능을 달성합니다. 우리는 합성 캐릭터와 지시 조정 대화를 공개 연구를 지원하기 위해 공개합니다.

English

Customizable role-playing in large language models (LLMs), also known as character generalization, is gaining increasing attention for its versatility and cost-efficiency in developing and deploying role-playing dialogue agents. This study explores a large-scale data synthesis approach to equip LLMs with character generalization capabilities. We begin by synthesizing large-scale character profiles using personas from Persona Hub and then explore two strategies: response rewriting and response generation, to create character-aligned instructional responses. To validate the effectiveness of our synthetic instruction tuning data for character generalization, we perform supervised fine-tuning (SFT) using the LLaMA-3 8B model. Our best-performing model strengthens the original LLaMA-3 8B Instruct model and achieves performance comparable to GPT-4o models on role-playing dialogue. We release our synthetic characters and instruction-tuning dialogues to support public research.