Het onderwijzen van belichaamde versterkende leeralgoritmen: Informativiteit en Diversiteit van Taalgebruik

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

Auteurs: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

Samenvatting

In real-world scenario's is het wenselijk dat belichaamde agenten de mogelijkheid hebben om menselijke taal te gebruiken om expliciete of impliciete kennis te verwerven voor leeropdrachten. Ondanks recente vooruitgang, nemen de meeste eerdere benaderingen eenvoudige laag-niveau instructies als taalinvoer aan, die mogelijk niet overeenkomen met natuurlijke menselijke communicatie. Het is niet duidelijk hoe rijk taalgebruik geïntegreerd kan worden om taakleren te vergemakkelijken. Om deze vraag aan te pakken, bestudeert dit artikel verschillende soorten taalinvoer om reinforcement learning (RL) belichaamde agenten te ondersteunen. Meer specifiek onderzoeken we hoe verschillende niveaus van taalinformatie (bijv. feedback op vorig gedrag en toekomstige begeleiding) en diversiteit (bijv. variatie van taaluitingen) van invloed zijn op het leren en redeneren van agenten. Onze empirische resultaten gebaseerd op vier RL benchmarks tonen aan dat agenten die getraind zijn met diverse en informatieve taalfeedback verbeterde generalisatie en snelle aanpassing aan nieuwe taken kunnen bereiken. Deze bevindingen benadrukken de cruciale rol van taalgebruik bij het aanleren van nieuwe taken aan belichaamde agenten in een open wereld. Project website: https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL