대규모 언어 모델의 개인화: 조사

Personalization of Large Language Models: A Survey

October 29, 2024

저자: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

초록

최근 대형 언어 모델 (LLM)의 개인화가 다양한 응용 분야에서 점점 더 중요해지고 있습니다. 중요성과 최근 진전에도 불구하고, 기존의 개인화된 LLM에 대한 대부분의 작업은 (a) 개인화된 텍스트 생성에 완전히 초점을 맞추거나 (b) 추천 시스템과 같은 개인화 관련 하위 응용 프로그램을 위해 LLM을 활용하는 데 중점을 두었습니다. 본 연구에서는 이 두 가지 별도의 주요 방향 사이의 간극을 메워, 개인화된 LLM 사용에 대한 분류법을 소개하고 주요 차이점과 도전 과제를 요약합니다. 우리는 LLM의 개인화의 기초를 형식화하여 정의하고 논의하며, 개인화, 사용 및 개인화된 LLM의 특징, 사용 및 바람직한 점을 확장하고 통합합니다. 그런 다음, 우리는 개인화의 세분화, 개인화 기술, 데이터셋, 평가 방법 및 개인화된 LLM의 응용에 대한 체계적인 분류법을 제안함으로써 이러한 다양한 분야와 사용 시나리오를 통합합니다. 마지막으로, 해결해야 할 중요한 문제와 도전 과제를 강조합니다. 제안된 분류법을 사용하여 최근 연구를 통합하고 조사함으로써, LLM의 개인화의 다양한 측면과 기존 문헌에 대한 명확한 안내서를 제공하고, 연구자와 실무자들에게 힘을 실어주고자 합니다.

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.