RL 에이전트의 메모리 복잡성 해독: 분류 및 평가 방법론

초록

에이전트에 기억을 통합하는 것은 강화 학습 (RL) 영역 내의 다양한 작업에 있어서 필수적입니다. 특히, 기억은 과거 정보 활용, 새로운 환경에 대한 적응, 그리고 향상된 샘플 효율성이 필요한 작업에 있어서 중요합니다. 그러나 "기억"이란 용어는 다양한 개념을 포함하고 있으며, 에이전트의 기억을 검증하기 위한 통일된 방법이 부족함에 따라 에이전트의 기억 능력에 대한 잘못된 판단을 일으키고 다른 기억이 강화된 에이전트와의 객관적인 비교를 방해합니다. 본 논문은 인지과학에서 영감을 받아 장기 기억 대 단기 기억, 서술적 기억 대 절차적 기억과 같은 에이전트 기억 유형에 대한 실용적이고 정확한 정의를 제공하여 강화 학습에서의 기억 개념을 간소화하는 것을 목표로 합니다. 이러한 정의를 사용하여 다양한 종류의 에이전트 기억을 분류하고, RL 에이전트의 기억 능력을 평가하기 위한 견고한 실험 방법론을 제안하고, 평가를 표준화합니다. 더 나아가, 다양한 유형의 에이전트 기억을 평가하기 위해 제안된 방법론을 준수하는 중요성을 경험적으로 입증하기 위해 다양한 RL 에이전트와 실험을 수행하고, 이를 위반했을 때의 결과를 보여줍니다.

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.

RL 에이전트의 메모리 복잡성 해독: 분류 및 평가 방법론

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

초록

Summary

Support