기억, 벤치마크 및 로봇: 강화 학습을 통해 복잡한 작업 해결을 위한 벤치마크

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

저자: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

초록

기억은 에이전트가 시간적 및 공간적 종속성이 있는 복잡한 작업에 대처하는 데 중요합니다. 많은 강화 학습 (RL) 알고리즘이 기억을 통합하고 있지만, 이 분야에는 에이전트의 기억 능력을 다양한 시나리오에서 평가하는 표준화된 기준이 부족합니다. 이러한 공백은 특히 탁상 로봇 조작에서 두드러지며, 여기서 기억은 부분 관측성을 갖는 작업을 해결하고 견고한 성능을 보장하는 데 중요하지만 표준화된 벤치마크가 없습니다. 이를 해결하기 위해 우리는 MIKASA (에이전트를 위한 기억 집중적 기술 평가 스위트)를 소개합니다. 이는 기억 강화 강화 학습을 위한 포괄적인 벤치마크로, 세 가지 주요 기여를 제공합니다: (1) 기억 집중적 RL 작업에 대한 포괄적인 분류 프레임워크를 제안합니다, (2) 다양한 시나리오에서 기억 강화 에이전트를 체계적으로 평가할 수 있게 하는 통합된 벤치마크인 MIKASA-Base를 수집하고, (3) 탁상 로봇 조작에서 기억 능력을 평가하는 32가지 신중하게 설계된 기억 집중적 작업의 혁신적인 벤치마크인 MIKASA-Robo를 개발합니다. 우리의 기여는 기억 강화 강화 학습 연구를 발전시키기 위한 통합된 프레임워크를 수립하며, 실제 응용 프로그램을 위한 더 신뢰할 수 있는 시스템의 개발을 촉진합니다. 코드는 https://sites.google.com/view/memorybenchrobots/에서 확인할 수 있습니다.

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.