Bewertung der Rolle von „Konstitutionen“ beim Lernen aus KI-Feedback

Evaluating the role of `Constitutions' for learning from AI feedback

November 15, 2024

Autoren: Saskia Redgate, Andrew M. Bean, Adam Mahdi

cs.AI

Zusammenfassung

Die wachsenden Fähigkeiten großer Sprachmodelle (LLMs) haben zu ihrem Einsatz als Ersatz für menschliches Feedback zur Schulung und Bewertung anderer LLMs geführt. Diese Methoden stützen sich oft auf "Verfassungen", schriftliche Richtlinien, die ein Kritikermodell verwendet, um Feedback zu geben und Generationen zu verbessern. Wir untersuchen, wie die Wahl der Verfassung die Qualität des Feedbacks beeinflusst, indem wir vier verschiedene Verfassungen verwenden, um die patientenzentrierte Kommunikation in medizinischen Interviews zu verbessern. In paarweisen Vergleichen, die von 215 menschlichen Bewertern durchgeführt wurden, stellten wir fest, dass detaillierte Verfassungen zu besseren Ergebnissen hinsichtlich emotionaler Qualitäten führten. Keine der Verfassungen übertraf jedoch den Ausgangspunkt beim Erlernen praxisorientierter Fähigkeiten im Zusammenhang mit Informationsbeschaffung und -bereitstellung. Unsere Ergebnisse deuten darauf hin, dass zwar detaillierte Verfassungen priorisiert werden sollten, es jedoch mögliche Einschränkungen hinsichtlich der Effektivität von KI-Feedback als Belohnungssignal in bestimmten Bereichen gibt.

English

The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.