Zero-shot Model-based Reinforcement Learning met behulp van Grote Taalmodellen

Zero-shot Model-based Reinforcement Learning using Large Language Models

October 15, 2024

Auteurs: Abdelhakim Benechehab, Youssef Attia El Hili, Ambroise Odonnat, Oussama Zekri, Albert Thomas, Giuseppe Paolo, Maurizio Filippone, Ievgen Redko, Balázs Kégl

cs.AI

Samenvatting

De opkomende zero-shot mogelijkheden van Grote Taalmodellen (LLM's) hebben geleid tot hun toepassingen op gebieden die verder reiken dan taken voor natuurlijke taalverwerking. In reinforcement learning zijn LLM's veel gebruikt in op tekst gebaseerde omgevingen, maar hun integratie met continue toestandsruimtes is nog weinig onderzocht. In dit artikel onderzoeken we hoe vooraf getrainde LLM's kunnen worden benut om in context de dynamiek van continue Markov-beslissingsprocessen te voorspellen. We identificeren het omgaan met multivariate gegevens en het opnemen van het besturingsignaal als belangrijke uitdagingen die het potentieel van de inzet van LLM's in deze opstelling beperken en stellen Disentangled In-Context Learning (DICL) voor om deze aan te pakken. We presenteren proof-of-concept toepassingen in twee reinforcement learning-instellingen: op model gebaseerde beleidsevaluatie en data-verrijkte off-policy reinforcement learning, ondersteund door theoretische analyse van de voorgestelde methoden. Onze experimenten tonen verder aan dat onze aanpak goed gekalibreerde onzekerheidsschattingen oplevert. We stellen de code beschikbaar op https://github.com/abenechehab/dicl.

English

The emerging zero-shot capabilities of Large Language Models (LLMs) have led to their applications in areas extending well beyond natural language processing tasks. In reinforcement learning, while LLMs have been extensively used in text-based environments, their integration with continuous state spaces remains understudied. In this paper, we investigate how pre-trained LLMs can be leveraged to predict in context the dynamics of continuous Markov decision processes. We identify handling multivariate data and incorporating the control signal as key challenges that limit the potential of LLMs' deployment in this setup and propose Disentangled In-Context Learning (DICL) to address them. We present proof-of-concept applications in two reinforcement learning settings: model-based policy evaluation and data-augmented off-policy reinforcement learning, supported by theoretical analysis of the proposed methods. Our experiments further demonstrate that our approach produces well-calibrated uncertainty estimates. We release the code at https://github.com/abenechehab/dicl.