도덕적 일치를 평가하기 위한 프랑스어 데이터셋: Histoires Morales

Histoires Morales: A French Dataset for Assessing Moral Alignment

January 28, 2025

저자: Thibaud Leteno, Irina Proskurina, Antoine Gourru, Julien Velcin, Charlotte Laclau, Guillaume Metzler, Christophe Gravier

cs.AI

초록

언어 모델을 인간의 가치와 조화시키는 것은 매우 중요하며, 특히 그들이 일상생활에 더 통합되는 상황에서는 더욱 중요합니다. 모델은 종종 사용자 선호도에 맞게 조정되지만, 실제 사회 상황에서 도덕적 규범과 행동과 일치하는지 확인하는 것이 동등하게 중요합니다. 영어나 중국어 같은 언어에서 상당한 진전이 있었지만, 프랑스어는 이 분야에서 주목을 받지 못해 프랑스어에서 도덕적 추론을 어떻게 다루는지에 대한 이해의 공백이 남아 있습니다. 이 공백을 해결하기 위해 우리는 Histoires Morales를 소개합니다. 이는 도덕 이야기에서 파생된 프랑스어 데이터셋으로, 번역을 통해 생성되었으며 이후 프랑스어 문화적 맥락에 맞게 문법적 정확성과 적응을 보장하기 위해 원어민의 지원을 받아 정제되었습니다. 또한 데이터셋 내의 도덕적 가치에 대한 주석을 의존하여 이를 프랑스의 규범과 일치시킵니다. Histoires Morales는 팁 관행의 차이, 관계에서의 정직 표현, 그리고 동물에 대한 책임감 등 다양한 사회 상황을 다룹니다. 미래 연구를 촉진하기 위해, 우리는 또한 다국어 모델의 프랑스어와 영어 데이터에 대한 조화와 조정의 견고성에 대한 예비 실험을 수행합니다. 우리는 LLMs이 일반적으로 사용자의 도덕적 규범과 기본적으로 일치되지만, 도덕적 및 비도덕적 데이터에 대한 사용자 선호도 최적화로 쉽게 영향을 받을 수 있다는 것을 발견했습니다.

English

Aligning language models with human values is crucial, especially as they become more integrated into everyday life. While models are often adapted to user preferences, it is equally important to ensure they align with moral norms and behaviours in real-world social situations. Despite significant progress in languages like English and Chinese, French has seen little attention in this area, leaving a gap in understanding how LLMs handle moral reasoning in this language. To address this gap, we introduce Histoires Morales, a French dataset derived from Moral Stories, created through translation and subsequently refined with the assistance of native speakers to guarantee grammatical accuracy and adaptation to the French cultural context. We also rely on annotations of the moral values within the dataset to ensure their alignment with French norms. Histoires Morales covers a wide range of social situations, including differences in tipping practices, expressions of honesty in relationships, and responsibilities toward animals. To foster future research, we also conduct preliminary experiments on the alignment of multilingual models on French and English data and the robustness of the alignment. We find that while LLMs are generally aligned with human moral norms by default, they can be easily influenced with user-preference optimization for both moral and immoral data.