LLM + 페르소나 플러그 = 개인화된 LLM

LLMs + Persona-Plug = Personalized LLMs

September 18, 2024

저자: Jiongnan Liu, Yutao Zhu, Shuting Wang, Xiaochi Wei, Erxue Min, Yu Lu, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou

cs.AI

초록

개인화는 다양한 언어 작업 및 응용 프로그램에서 중요한 역할을 합니다. 왜냐하면 동일한 요구 사항을 가진 사용자들도 개인적인 관심에 기반하여 다양한 출력물을 선호할 수 있기 때문입니다. 이로 인해 사용자 선호도에 부합하는 맞춤 출력물을 생성하기 위해 대규모 언어 모델 (LLMs)을 조정하는 다양한 개인화된 접근 방식이 개발되었습니다. 그 중 일부는 각 사용자에게 고유한 맞춤형 LLM을 세밀하게 조정하는 것을 포함하는데, 이는 보급적인 응용에는 너무 비용이 많이 듭니다. 대안적인 방법은 사용자의 관련 이전 텍스트를 검색하여 플러그 앤 플레이 방식으로 개인화 정보를 도입하는 것입니다. 그러나 이러한 검색 기반 전략은 사용자 이력의 연속성을 깨뜨릴 수 있으며 사용자의 전반적인 스타일과 패턴을 포착하지 못하여 최적의 성능을 발휘하지 못할 수 있습니다. 이러한 도전에 대처하기 위해 우리는 새로운 개인화된 LLM 모델을 제안합니다. 이 모델은 각 개인에 대해 사용자별 임베딩을 구성하여 가벼운 플러그인 사용자 임베더 모듈을 통해 모든 사용자의 이력적 맥락을 모델링합니다. 이 임베딩을 작업 입력에 부착함으로써 LLM은 사용자의 습관과 선호도를 더 잘 이해하고 포착하여 자체 매개변수를 조정하지 않고도 더 개인화된 출력물을 생성할 수 있습니다. 언어 모델 개인화 (LaMP) 벤치마크의 다양한 작업에 대한 광범위한 실험 결과는 제안된 모델이 기존의 개인화된 LLM 접근 방식을 현저히 능가한다는 것을 입증합니다.

English

Personalization plays a critical role in numerous language tasks and applications, since users with the same requirements may prefer diverse outputs based on their individual interests. This has led to the development of various personalized approaches aimed at adapting large language models (LLMs) to generate customized outputs aligned with user preferences. Some of them involve fine-tuning a unique personalized LLM for each user, which is too expensive for widespread application. Alternative approaches introduce personalization information in a plug-and-play manner by retrieving the user's relevant historical texts as demonstrations. However, this retrieval-based strategy may break the continuity of the user history and fail to capture the user's overall styles and patterns, hence leading to sub-optimal performance. To address these challenges, we propose a novel personalized LLM model, . It constructs a user-specific embedding for each individual by modeling all her historical contexts through a lightweight plug-in user embedder module. By attaching this embedding to the task input, LLMs can better understand and capture user habits and preferences, thereby producing more personalized outputs without tuning their own parameters. Extensive experiments on various tasks in the language model personalization (LaMP) benchmark demonstrate that the proposed model significantly outperforms existing personalized LLM approaches.