Insegnare agenti di apprendimento per rinforzo incarnati: Informatività e diversità dell'uso del linguaggio

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

Autori: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

Abstract

Nei contesti reali, è auspicabile che gli agenti incorporati abbiano la capacità di sfruttare il linguaggio umano per acquisire conoscenze esplicite o implicite per compiti di apprendimento. Nonostante i recenti progressi, la maggior parte degli approcci precedenti adotta istruzioni di basso livello come input linguistici, che potrebbero non riflettere la comunicazione umana naturale. Non è chiaro come incorporare un uso ricco del linguaggio per agevolare l'apprendimento dei compiti. Per affrontare questa questione, questo articolo studia diversi tipi di input linguistici nel facilitare gli agenti incorporati di apprendimento per rinforzo (RL). Più specificamente, esaminiamo come diversi livelli di informatività del linguaggio (ovvero, feedback sui comportamenti passati e guida futura) e diversità (ovvero, variazione delle espressioni linguistiche) influenzino l'apprendimento e l'inferenza dell'agente. I nostri risultati empirici basati su quattro benchmark di RL dimostrano che gli agenti addestrati con feedback linguistici diversificati e informativi possono raggiungere una generalizzazione migliorata e un'adattamento rapido a nuovi compiti. Queste scoperte mettono in evidenza il ruolo fondamentale dell'uso del linguaggio nell'insegnare agli agenti incorporati nuovi compiti in un mondo aperto. Sito web del progetto: https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL