Het evalueren van de rol van 'constituties' voor het leren van AI-feedback.

Evaluating the role of `Constitutions' for learning from AI feedback

November 15, 2024

Auteurs: Saskia Redgate, Andrew M. Bean, Adam Mahdi

cs.AI

Samenvatting

De groeiende mogelijkheden van grote taalmodellen (LLM's) hebben geleid tot hun gebruik als vervangers voor menselijke feedback bij het trainen en beoordelen van andere LLM's. Deze methoden vertrouwen vaak op 'grondwetten', schriftelijke richtlijnen die een kritisch model gebruikt om feedback te geven en generaties te verbeteren. We onderzoeken hoe de keuze van een grondwet de kwaliteit van feedback beïnvloedt door vier verschillende grondwetten te gebruiken om de communicatie gericht op de patiënt te verbeteren in medische interviews. In paarvergelijkingen uitgevoerd door 215 menselijke beoordelaars, ontdekten we dat gedetailleerde grondwetten betere resultaten opleverden wat betreft emotionele kwaliteiten. Echter, geen van de grondwetten presteerde beter dan de basislijn bij het aanleren van meer praktisch georiënteerde vaardigheden met betrekking tot het verzamelen en verstrekken van informatie. Onze bevindingen geven aan dat hoewel gedetailleerde grondwetten prioriteit moeten krijgen, er mogelijke beperkingen zijn aan de effectiviteit van AI-feedback als beloningssignaal op bepaalde gebieden.

English

The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.