Enseignement des agents d'apprentissage par renforcement incarnés : Informativité et diversité de l'utilisation du langage

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

Auteurs: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

Résumé

Dans des scénarios du monde réel, il est souhaitable que les agents incarnés aient la capacité d'utiliser le langage humain pour acquérir des connaissances explicites ou implicites dans le cadre de tâches d'apprentissage. Malgré les progrès récents, la plupart des approches antérieures adoptent des instructions simples de bas niveau en tant qu'entrées linguistiques, qui peuvent ne pas refléter la communication humaine naturelle. Il n'est pas clair comment incorporer un usage riche du langage pour faciliter l'apprentissage des tâches. Pour répondre à cette question, cet article étudie différents types d'entrées linguistiques pour faciliter l'apprentissage par renforcement des agents incarnés. Plus précisément, nous examinons comment différents niveaux d'informativité du langage (c'est-à-dire, rétroaction sur les comportements passés et guidance future) et de diversité (c'est-à-dire, variation des expressions linguistiques) impactent l'apprentissage et l'inférence des agents. Nos résultats empiriques basés sur quatre référentiels d'apprentissage par renforcement démontrent que les agents formés avec une rétroaction linguistique diversifiée et informative peuvent atteindre une généralisation améliorée et une adaptation rapide à de nouvelles tâches. Ces découvertes mettent en lumière le rôle crucial de l'usage du langage dans l'enseignement de nouvelles tâches aux agents incarnés dans un monde ouvert. Site du projet : https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL