Leren uit Interacties in Retrospectief

Retrospective Learning from Interactions

October 17, 2024

Auteurs: Zizhao Chen, Mustafa Omer Gul, Yiwei Chen, Gloria Geng, Anne Wu, Yoav Artzi

cs.AI

Samenvatting

Meerdelige interacties tussen grote taalmodellen (LLM's) en gebruikers bevatten van nature impliciete feedbacksignalen. Als een LLM op een onverwachte manier reageert op een instructie, is de gebruiker waarschijnlijk geneigd dit aan te geven door de vraag anders te formuleren, frustratie uit te drukken of over te schakelen naar een alternatieve taak. Dergelijke signalen zijn taalonafhankelijk en bevinden zich in een relatief beperkte subspace van taal, waardoor de LLM ze kan identificeren, zelfs als het faalt bij de daadwerkelijke taak. Dit creëert een mogelijkheid om voortdurend te leren van interacties zonder extra annotaties. We introduceren ReSpect, een methode om te leren van dergelijke signalen in eerdere interacties via retrospectie. We zetten ReSpect in bij een nieuw multimodaal interactiescenario, waarin mensen een LLM instrueren om een abstract redeneertaak met een combinatorische oplossingsruimte op te lossen. Door duizenden interacties met mensen laten we zien hoe ReSpect de taakvoltooiingsgraad geleidelijk verbetert van 31% naar 82%, allemaal zonder enige externe annotatie.

English

Multi-turn interactions between large language models (LLMs) and users naturally include implicit feedback signals. If an LLM responds in an unexpected way to an instruction, the user is likely to signal it by rephrasing the request, expressing frustration, or pivoting to an alternative task. Such signals are task-independent and occupy a relatively constrained subspace of language, allowing the LLM to identify them even if it fails on the actual task. This creates an avenue for continually learning from interactions without additional annotations. We introduce ReSpect, a method to learn from such signals in past interactions via retrospection. We deploy ReSpect in a new multimodal interaction scenario, where humans instruct an LLM to solve an abstract reasoning task with a combinatorial solution space. Through thousands of interactions with humans, we show how ReSpect gradually improves task completion rate from 31% to 82%, all without any external annotation.