Évaluation du rôle des "constitutions" pour apprendre des retours d'information de l'IA

Evaluating the role of `Constitutions' for learning from AI feedback

November 15, 2024

Auteurs: Saskia Redgate, Andrew M. Bean, Adam Mahdi

cs.AI

Résumé

Les capacités croissantes des grands modèles de langage (GML) ont conduit à leur utilisation en tant que substituts du retour humain pour l'entraînement et l'évaluation d'autres GML. Ces méthodes reposent souvent sur des "constitutions", des directives écrites qu'un modèle critique utilise pour fournir des retours et améliorer les générations. Nous examinons comment le choix de la constitution affecte la qualité des retours en utilisant quatre constitutions différentes pour améliorer la communication centrée sur le patient lors d'entretiens médicaux. Dans des comparaisons par paires réalisées par 215 évaluateurs humains, nous avons constaté que des constitutions détaillées ont conduit à de meilleurs résultats en ce qui concerne les qualités émotionnelles. Cependant, aucune des constitutions n'a surpassé la ligne de base dans l'apprentissage de compétences plus orientées vers la pratique liées à la collecte et à la fourniture d'informations. Nos résultats indiquent que bien que les constitutions détaillées devraient être privilégiées, il existe des limitations possibles quant à l'efficacité du retour d'IA en tant que signal de récompense dans certains domaines.

English

The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.