Lehren von verkörperten Verstärkungslernenden Agenten: Informativität und Vielfalt des Sprachgebrauchs

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

Autoren: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

Zusammenfassung

In realen Szenarien ist es wünschenswert, dass verkörperte Agenten die Fähigkeit haben, menschliche Sprache zu nutzen, um explizites oder implizites Wissen für Lernaufgaben zu erlangen. Trotz jüngster Fortschritte übernehmen die meisten früheren Ansätze einfache, auf niedrigem Niveau angesiedelte Anweisungen als Spracheingaben, die möglicherweise nicht die natürliche menschliche Kommunikation widerspiegeln. Es ist unklar, wie man eine vielfältige Sprachnutzung einbeziehen kann, um das Aufgabenerlernen zu erleichtern. Um diese Frage zu beantworten, untersucht diese Arbeit verschiedene Arten von Spracheingaben zur Unterstützung von Verstärkungslernen (RL) verkörperter Agenten. Genauer gesagt untersuchen wir, wie unterschiedliche Grade an Sprachinformativität (d. h. Rückmeldungen zu vergangenen Verhaltensweisen und zukünftige Anleitungen) und Diversität (d. h. Variationen von Sprachausdrücken) das Lernen und die Inferenz des Agenten beeinflussen. Unsere empirischen Ergebnisse, die auf vier RL-Benchmarks basieren, zeigen, dass Agenten, die mit vielfältigem und informativem Sprachfeedback trainiert wurden, eine verbesserte Verallgemeinerung und schnelle Anpassung an neue Aufgaben erreichen können. Diese Erkenntnisse unterstreichen die entscheidende Rolle der Sprachnutzung beim Unterrichten verkörperter Agenten in einer offenen Welt. Projektwebsite: https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL