Valutazione del ruolo delle "costituzioni" per imparare dal feedback dell'IA

Evaluating the role of `Constitutions' for learning from AI feedback

November 15, 2024

Autori: Saskia Redgate, Andrew M. Bean, Adam Mahdi

cs.AI

Abstract

Le crescenti capacità dei grandi modelli linguistici (LLM) hanno portato al loro utilizzo come sostituti del feedback umano per addestrare e valutare altri LLM. Questi metodi spesso si basano su "costituzioni", linee guida scritte che un modello critico utilizza per fornire feedback e migliorare le generazioni. Indaghiamo come la scelta della costituzione influenzi la qualità del feedback utilizzando quattro diverse costituzioni per migliorare la comunicazione centrata sul paziente negli intervisti mediche. In confronti a coppie condotti da 215 valutatori umani, abbiamo scoperto che costituzioni dettagliate hanno portato a risultati migliori riguardo alle qualità emotive. Tuttavia, nessuna delle costituzioni ha superato il punto di riferimento nell'apprendimento di abilità più orientate alla pratica legate alla raccolta e alla fornitura di informazioni. I nostri risultati indicano che, sebbene le costituzioni dettagliate dovrebbero essere prioritarie, ci possono essere limitazioni all'efficacia del feedback dell'IA come segnale di ricompensa in determinate aree.

English

The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.