탑재된 강화 학습 에이전트 교육: 정보 전달성과 언어 사용 다양성

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

저자: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

초록

실제 상황에서, 타인의 언어를 활용하여 명시적 또는 암시적 지식을 습득하는 능력을 갖는 타체 에이전트가 바람직합니다. 최근의 발전에도 불구하고, 이전 접근 방식 대부분은 자연스러운 인간 커뮤니케이션을 반영하지 못할 수 있는 간단한 수준의 명령을 언어 입력으로 채택했습니다. 언어의 풍부한 활용을 어떻게 통합하여 과제 학습을 용이하게 할지 명확하지 않습니다. 이 문제를 해결하기 위해, 본 논문은 강화 학습 (RL) 타체 에이전트의 학습을 용이하게 하는 다양한 유형의 언어 입력을 연구합니다. 더 구체적으로, 과거 행동에 대한 피드백 및 미래 지침에 대한 언어의 다양한 수준 (즉, 언어 표현의 변화)이 에이전트의 학습과 추론에 어떤 영향을 미치는지 조사합니다. 네 가지 RL 벤치마크를 기반으로 한 우리의 경험적 결과는, 다양하고 유익한 언어 피드백으로 훈련된 에이전트가 새로운 과제에 대한 향상된 일반화 및 빠른 적응을 달성할 수 있다는 것을 보여줍니다. 이러한 발견은 개방된 세계에서 타체 에이전트에게 새로운 과제를 가르치는 데 언어 사용이 중요한 역할을 한다는 것을 강조합니다. 프로젝트 웹사이트: https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL