MaxInfoRL: Potenziare l'esplorazione nell'apprendimento per rinforzo attraverso la massimizzazione del guadagno di informazione

MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization

December 16, 2024

Autori: Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza

cs.AI

Abstract

Gli algoritmi di apprendimento per rinforzo (RL) mirano a bilanciare lo sfruttamento della strategia migliore attuale con l'esplorazione di nuove opzioni che potrebbero portare a ricompense più elevate. La maggior parte degli algoritmi di RL comuni utilizza esplorazioni non direzionate, ovvero seleziona sequenze casuali di azioni. L'esplorazione può anche essere diretta utilizzando ricompense intrinseche, come la curiosità o l'incertezza epistemica del modello. Tuttavia, bilanciare efficacemente le ricompense del compito e quelle intrinseche è impegnativo e spesso dipende dal compito. In questo lavoro, presentiamo un framework, MaxInfoRL, per bilanciare l'esplorazione intrinseca ed estrinseca. MaxInfoRL indirizza l'esplorazione verso transizioni informative, massimizzando ricompense intrinseche come il guadagno di informazione sul compito sottostante. Quando combinato con l'esplorazione di Boltzmann, questo approccio bilancia naturalmente la massimizzazione della funzione di valore con quella dell'entropia su stati, ricompense e azioni. Dimostriamo che il nostro approccio raggiunge un rimpianto sub-lineare nell'ambiente semplificato dei banditi multi-braccio. Applichiamo quindi questa formulazione generale a una varietà di metodi di RL senza modello off-policy per spazi di stato-azione continui, ottenendo algoritmi innovativi che raggiungono prestazioni superiori su problemi di esplorazione difficili e scenari complessi come compiti di controllo visivo.

English

Reinforcement learning (RL) algorithms aim to balance exploiting the current best strategy with exploring new options that could lead to higher rewards. Most common RL algorithms use undirected exploration, i.e., select random sequences of actions. Exploration can also be directed using intrinsic rewards, such as curiosity or model epistemic uncertainty. However, effectively balancing task and intrinsic rewards is challenging and often task-dependent. In this work, we introduce a framework, MaxInfoRL, for balancing intrinsic and extrinsic exploration. MaxInfoRL steers exploration towards informative transitions, by maximizing intrinsic rewards such as the information gain about the underlying task. When combined with Boltzmann exploration, this approach naturally trades off maximization of the value function with that of the entropy over states, rewards, and actions. We show that our approach achieves sublinear regret in the simplified setting of multi-armed bandits. We then apply this general formulation to a variety of off-policy model-free RL methods for continuous state-action spaces, yielding novel algorithms that achieve superior performance across hard exploration problems and complex scenarios such as visual control tasks.