Personalisierung großer Sprachmodelle: Eine Übersicht

Personalization of Large Language Models: A Survey

October 29, 2024

Autoren: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

Zusammenfassung

Die Personalisierung von Large Language Models (LLMs) ist in letzter Zeit mit einer Vielzahl von Anwendungen zunehmend wichtig geworden. Trotz der Bedeutung und des jüngsten Fortschritts haben sich die meisten bestehenden Arbeiten zu personalisierten LLMs entweder ausschließlich auf (a) die personalisierte Textgenerierung oder (b) die Nutzung von LLMs für personalisierungsbezogene Anwendungen wie Empfehlungssysteme konzentriert. In dieser Arbeit überbrücken wir erstmals die Kluft zwischen diesen beiden separaten Hauptrichtungen, indem wir eine Taxonomie für die Verwendung von personalisierten LLMs einführen und die wesentlichen Unterschiede und Herausforderungen zusammenfassen. Wir formalisieren die Grundlagen personalisierter LLMs, konsolidieren und erweitern Konzepte der Personalisierung von LLMs, definieren und diskutieren neue Facetten der Personalisierung, Nutzung und Anforderungen personalisierter LLMs. Anschließend vereinheitlichen wir die Literatur in diesen verschiedenen Bereichen und Nutzungsszenarien, indem wir systematische Taxonomien für die Granularität der Personalisierung, Personalisierungstechniken, Datensätze, Evaluationsmethoden und Anwendungen von personalisierten LLMs vorschlagen. Schließlich heben wir Herausforderungen und wichtige offene Probleme hervor, die noch angegangen werden müssen. Durch die Vereinheitlichung und Untersuchung aktueller Forschung anhand der vorgeschlagenen Taxonomien wollen wir einen klaren Leitfaden für die bestehende Literatur und verschiedene Facetten der Personalisierung in LLMs bieten, um sowohl Forscher als auch Praktiker zu unterstützen.

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.