Interpretazione della Pianificazione Emergente nell'Apprendimento per Rinforzo Senza Modello

Interpreting Emergent Planning in Model-Free Reinforcement Learning

April 2, 2025

Autori: Thomas Bush, Stephen Chung, Usman Anwar, Adrià Garriga-Alonso, David Krueger

cs.AI

Abstract

Presentiamo le prime evidenze meccanicistiche che dimostrano come agenti di apprendimento per rinforzo model-free possano imparare a pianificare. Questo risultato è stato ottenuto applicando una metodologia basata sull'interpretabilità concettuale a un agente model-free in Sokoban, un benchmark comunemente utilizzato per studiare la pianificazione. Nello specifico, dimostriamo che DRC, un generico agente model-free introdotto da Guez et al. (2019), utilizza rappresentazioni concettuali apprese per formulare internamente piani che prevedono gli effetti a lungo termine delle azioni sull'ambiente e influenzano la selezione delle azioni. La nostra metodologia prevede: (1) l'individuazione di concetti rilevanti per la pianificazione, (2) l'analisi della formazione dei piani all'interno delle rappresentazioni dell'agente e (3) la verifica, attraverso interventi, che i piani scoperti (nelle rappresentazioni dell'agente) abbiano un effetto causale sul comportamento dell'agente. Mostriamo inoltre che l'emergere di questi piani coincide con l'emergere di una proprietà simile alla pianificazione: la capacità di trarre vantaggio da un calcolo aggiuntivo durante il test. Infine, eseguiamo un'analisi qualitativa dell'algoritmo di pianificazione appreso dall'agente e scopriamo una forte somiglianza con la ricerca bidirezionale parallelizzata. I nostri risultati avanzano la comprensione dei meccanismi interni alla base del comportamento di pianificazione negli agenti, un aspetto importante considerando la recente tendenza di capacità emergenti di pianificazione e ragionamento nei LLM attraverso l'apprendimento per rinforzo.

English

We present the first mechanistic evidence that model-free reinforcement learning agents can learn to plan. This is achieved by applying a methodology based on concept-based interpretability to a model-free agent in Sokoban -- a commonly used benchmark for studying planning. Specifically, we demonstrate that DRC, a generic model-free agent introduced by Guez et al. (2019), uses learned concept representations to internally formulate plans that both predict the long-term effects of actions on the environment and influence action selection. Our methodology involves: (1) probing for planning-relevant concepts, (2) investigating plan formation within the agent's representations, and (3) verifying that discovered plans (in the agent's representations) have a causal effect on the agent's behavior through interventions. We also show that the emergence of these plans coincides with the emergence of a planning-like property: the ability to benefit from additional test-time compute. Finally, we perform a qualitative analysis of the planning algorithm learned by the agent and discover a strong resemblance to parallelized bidirectional search. Our findings advance understanding of the internal mechanisms underlying planning behavior in agents, which is important given the recent trend of emergent planning and reasoning capabilities in LLMs through RL