Personalizzazione dei Grandi Modelli Linguistici: Un'Indagine

Personalization of Large Language Models: A Survey

October 29, 2024

Autori: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

Abstract

La personalizzazione dei Grandi Modelli Linguistici (LLM) è recentemente diventata sempre più importante con una vasta gamma di applicazioni. Nonostante l'importanza e i recenti progressi, la maggior parte dei lavori esistenti sui LLM personalizzati si sono concentrati esclusivamente sulla (a) generazione di testi personalizzati o (b) sull'utilizzo dei LLM per applicazioni downstream legate alla personalizzazione, come i sistemi di raccomandazione. In questo lavoro, colmiamo il divario tra queste due direzioni principali separate per la prima volta introducendo una tassonomia per l'uso dei LLM personalizzati e riassumendo le principali differenze e sfide. Forniamo una formalizzazione dei fondamenti dei LLM personalizzati che consolida ed espande concetti di personalizzazione dei LLM, definendo e discutendo nuovi aspetti della personalizzazione, dell'uso e dei desiderata dei LLM personalizzati. Successivamente unifichiamo la letteratura in questi campi diversi e scenari di utilizzo proponendo tassonomie sistematiche per la granularità della personalizzazione, le tecniche di personalizzazione, i dataset, i metodi di valutazione e le applicazioni dei LLM personalizzati. Infine, evidenziamo le sfide e i problemi aperti importanti che devono ancora essere affrontati. Unificando e esaminando la recente ricerca utilizzando le tassonomie proposte, miriamo a fornire una guida chiara alla letteratura esistente e ai diversi aspetti della personalizzazione nei LLM, fornendo strumenti sia ai ricercatori che ai professionisti.

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.