Personnalisation des Grands Modèles de Langage : Une Étude

Personalization of Large Language Models: A Survey

October 29, 2024

Auteurs: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

Résumé

La personnalisation des grands modèles de langage (LLM) est récemment devenue de plus en plus importante avec une large gamme d'applications. Malgré l'importance et les progrès récents, la plupart des travaux existants sur les LLM personnalisés se sont concentrés soit entièrement sur (a) la génération de texte personnalisé, soit sur (b) l'exploitation des LLM pour des applications de personnalisation, telles que les systèmes de recommandation. Dans ce travail, nous comblons le fossé entre ces deux principales directions distinctes pour la première fois en introduisant une taxonomie pour l'utilisation des LLM personnalisés et en résumant les principales différences et défis. Nous proposons une formalisation des fondements des LLM personnalisés qui consolide et étend les notions de personnalisation des LLM, en définissant et en discutant de nouveaux aspects de la personnalisation, de l'utilisation et des desiderata des LLM personnalisés. Nous unifions ensuite la littérature à travers ces domaines divers et ces scénarios d'utilisation en proposant des taxonomies systématiques pour la granularité de la personnalisation, les techniques de personnalisation, les ensembles de données, les méthodes d'évaluation et les applications des LLM personnalisés. Enfin, nous mettons en lumière les défis et les problèmes ouverts importants qui restent à résoudre. En unifiant et en passant en revue les recherches récentes en utilisant les taxonomies proposées, nous visons à fournir un guide clair sur la littérature existante et les différents aspects de la personnalisation dans les LLM, permettant ainsi aux chercheurs et aux praticiens de s'émanciper.

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.