Personalisatie van Grote Taalmodellen: Een Overzicht

Personalization of Large Language Models: A Survey

October 29, 2024

Auteurs: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

Samenvatting

Het personaliseren van Grote Taalmodellen (LLM's) is recentelijk steeds belangrijker geworden met een breed scala aan toepassingen. Ondanks het belang en de recente vooruitgang hebben de meeste bestaande werken over gepersonaliseerde LLM's zich ofwel volledig gericht op (a) gepersonaliseerde tekstgeneratie of (b) het benutten van LLM's voor gepersonaliseerde toepassingen, zoals aanbevelingssystemen. In dit werk overbruggen we voor het eerst de kloof tussen deze twee afzonderlijke hoofdrichtingen door een taxonomie voor het gebruik van gepersonaliseerde LLM's te introduceren en de belangrijkste verschillen en uitdagingen samen te vatten. We bieden een formalisering van de grondslagen van gepersonaliseerde LLM's die begrippen van personalisatie van LLM's consolideert en uitbreidt, waarbij we nieuwe facetten van personalisatie, gebruik en wensen van gepersonaliseerde LLM's definiëren en bespreken. Vervolgens verenigen we de literatuur over deze diverse gebieden en gebruiksscenario's door systematische taxonomieën voor de granulariteit van personalisatie, personalisatietechnieken, datasets, evaluatiemethoden en toepassingen van gepersonaliseerde LLM's voor te stellen. Tot slot benadrukken we uitdagingen en belangrijke open problemen die nog moeten worden aangepakt. Door recent onderzoek te unificeren en te onderzoeken met behulp van de voorgestelde taxonomieën, streven we ernaar een duidelijke gids te bieden voor de bestaande literatuur en verschillende facetten van personalisatie in LLM's, waardoor zowel onderzoekers als beoefenaars worden versterkt.

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.