Histoires Morales: Ein französisches Datenset zur Bewertung der moralischen Ausrichtung

Histoires Morales: A French Dataset for Assessing Moral Alignment

January 28, 2025

Autoren: Thibaud Leteno, Irina Proskurina, Antoine Gourru, Julien Velcin, Charlotte Laclau, Guillaume Metzler, Christophe Gravier

cs.AI

Zusammenfassung

Die Ausrichtung von Sprachmodellen an menschlichen Werten ist entscheidend, insbesondere da sie zunehmend in den Alltag integriert werden. Obwohl Modelle oft an Benutzerpräferenzen angepasst werden, ist es ebenso wichtig sicherzustellen, dass sie mit moralischen Normen und Verhaltensweisen in realen sozialen Situationen übereinstimmen. Trotz bedeutender Fortschritte in Sprachen wie Englisch und Chinesisch hat das Französische in diesem Bereich wenig Aufmerksamkeit erhalten, was eine Lücke im Verständnis darüber hinterlässt, wie große Sprachmodelle moralisches Denken in dieser Sprache handhaben. Um diese Lücke zu schließen, stellen wir Histoires Morales vor, ein französisches Datenset, das aus Moralischen Geschichten abgeleitet ist, erstellt durch Übersetzung und anschließend verfeinert mit Hilfe von Muttersprachlern, um grammatikalische Genauigkeit und Anpassung an den französischen kulturellen Kontext zu gewährleisten. Wir stützen uns auch auf Annotationen der moralischen Werte innerhalb des Datensets, um ihre Übereinstimmung mit französischen Normen sicherzustellen. Histoires Morales umfasst eine Vielzahl von sozialen Situationen, darunter Unterschiede in Trinkgeldpraktiken, Ausdrücke von Ehrlichkeit in Beziehungen und Verantwortlichkeiten gegenüber Tieren. Um zukünftige Forschung zu fördern, führen wir auch vorläufige Experimente zur Ausrichtung von mehrsprachigen Modellen an französischen und englischen Daten sowie zur Robustheit der Ausrichtung durch. Wir stellen fest, dass große Sprachmodelle im Allgemeinen standardmäßig mit menschlichen moralischen Normen übereinstimmen, aber leicht durch die Optimierung von Benutzerpräferenzen für sowohl moralische als auch unmoralische Daten beeinflusst werden können.

English

Aligning language models with human values is crucial, especially as they become more integrated into everyday life. While models are often adapted to user preferences, it is equally important to ensure they align with moral norms and behaviours in real-world social situations. Despite significant progress in languages like English and Chinese, French has seen little attention in this area, leaving a gap in understanding how LLMs handle moral reasoning in this language. To address this gap, we introduce Histoires Morales, a French dataset derived from Moral Stories, created through translation and subsequently refined with the assistance of native speakers to guarantee grammatical accuracy and adaptation to the French cultural context. We also rely on annotations of the moral values within the dataset to ensure their alignment with French norms. Histoires Morales covers a wide range of social situations, including differences in tipping practices, expressions of honesty in relationships, and responsibilities toward animals. To foster future research, we also conduct preliminary experiments on the alignment of multilingual models on French and English data and the robustness of the alignment. We find that while LLMs are generally aligned with human moral norms by default, they can be easily influenced with user-preference optimization for both moral and immoral data.