Svelare la complessità della memoria negli agenti di RL: un approccio per la classificazione e valutazione

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

December 9, 2024

Autori: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Abstract

L'incorporazione della memoria negli agenti è essenziale per numerose attività nel campo del Reinforcement Learning (RL). In particolare, la memoria è fondamentale per compiti che richiedono l'utilizzo di informazioni passate, l'adattamento a ambienti nuovi e un'efficienza di campionamento migliorata. Tuttavia, il termine "memoria" comprende una vasta gamma di concetti, che, uniti alla mancanza di una metodologia unificata per la validazione della memoria di un agente, porta a giudizi erronei sulle capacità mnemoniche degli agenti e impedisce un confronto oggettivo con altri agenti potenziati dalla memoria. Questo articolo mira a razionalizzare il concetto di memoria nel RL fornendo precise definizioni pratiche dei tipi di memoria degli agenti, come la memoria a lungo termine rispetto a quella a breve termine e la memoria dichiarativa rispetto a quella procedurale, ispirate alle scienze cognitive. Utilizzando tali definizioni, classifichiamo diverse categorie di memoria degli agenti, proponiamo una robusta metodologia sperimentale per valutare le capacità mnemoniche degli agenti RL e standardizziamo le valutazioni. Inoltre, dimostriamo empiricamente l'importanza di seguire la metodologia proposta nella valutazione dei diversi tipi di memoria degli agenti conducendo esperimenti con diversi agenti RL e mostrando a cosa porta la sua violazione.

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.