Étude de la Sensibilisation Culturelle dans les Modèles de Langage : Texte et Au-delà

Survey of Cultural Awareness in Language Models: Text and Beyond

October 30, 2024

Auteurs: Siddhesh Pawar, Junyeong Park, Jiho Jin, Arnav Arora, Junho Myung, Srishti Yadav, Faiz Ghifari Haznitrama, Inhwa Song, Alice Oh, Isabelle Augenstein

cs.AI

Résumé

Le déploiement à grande échelle des grands modèles de langage (LLM) dans diverses applications, telles que les chatbots et les assistants virtuels, exige que les LLM soient sensibles à la culture de l'utilisateur pour garantir l'inclusivité. La culture a été largement étudiée en psychologie et en anthropologie, et il y a eu récemment une recrudescence de recherches visant à rendre les LLM plus culturellement inclusifs, allant au-delà de la multilinguisme et s'appuyant sur les conclusions de la psychologie et de l'anthropologie. Dans cet article, nous passons en revue les efforts visant à intégrer la sensibilité culturelle dans les LLM basés sur du texte et multimodaux. Nous commençons par définir la sensibilité culturelle dans les LLM, en prenant comme point de départ les définitions de la culture de l'anthropologie et de la psychologie. Nous examinons ensuite les méthodologies adoptées pour la création de jeux de données interculturels, les stratégies d'inclusion culturelle dans les tâches ultérieures, et les méthodologies utilisées pour évaluer la sensibilité culturelle des LLM. De plus, nous discutons des implications éthiques de l'alignement culturel, du rôle de l'interaction humain-machine dans la promotion de l'inclusion culturelle dans les LLM, et du rôle de l'alignement culturel dans la promotion de la recherche en sciences sociales. Enfin, nous proposons des pistes pour des recherches futures basées sur nos constatations concernant les lacunes dans la littérature.

English

Large-scale deployment of large language models (LLMs) in various applications, such as chatbots and virtual assistants, requires LLMs to be culturally sensitive to the user to ensure inclusivity. Culture has been widely studied in psychology and anthropology, and there has been a recent surge in research on making LLMs more culturally inclusive in LLMs that goes beyond multilinguality and builds on findings from psychology and anthropology. In this paper, we survey efforts towards incorporating cultural awareness into text-based and multimodal LLMs. We start by defining cultural awareness in LLMs, taking the definitions of culture from anthropology and psychology as a point of departure. We then examine methodologies adopted for creating cross-cultural datasets, strategies for cultural inclusion in downstream tasks, and methodologies that have been used for benchmarking cultural awareness in LLMs. Further, we discuss the ethical implications of cultural alignment, the role of Human-Computer Interaction in driving cultural inclusion in LLMs, and the role of cultural alignment in driving social science research. We finally provide pointers to future research based on our findings about gaps in the literature.