Apprentissage par Renforcement basé sur un Modèle sans Pré-entraînement en utilisant de Grands Modèles de Langage

Zero-shot Model-based Reinforcement Learning using Large Language Models

October 15, 2024

Auteurs: Abdelhakim Benechehab, Youssef Attia El Hili, Ambroise Odonnat, Oussama Zekri, Albert Thomas, Giuseppe Paolo, Maurizio Filippone, Ievgen Redko, Balázs Kégl

cs.AI

Résumé

Les capacités émergentes de zéro-shot des Grands Modèles de Langage (GML) ont conduit à leur application dans des domaines allant bien au-delà des tâches de traitement du langage naturel. En apprentissage par renforcement, bien que les GML aient été largement utilisés dans des environnements basés sur du texte, leur intégration avec des espaces d'états continus reste peu étudiée. Dans cet article, nous examinons comment les GML pré-entraînés peuvent être exploités pour prédire dans le contexte la dynamique des processus décisionnels de Markov continus. Nous identifions la manipulation de données multivariées et l'incorporation du signal de contrôle comme des défis clés limitant le potentiel du déploiement des GML dans cette configuration, et proposons l'Apprentissage en Contexte Désentrelacé (DICL) pour y remédier. Nous présentons des applications de preuve de concept dans deux contextes d'apprentissage par renforcement : l'évaluation de politiques basée sur des modèles et l'apprentissage par renforcement hors politique augmenté de données, soutenus par une analyse théorique des méthodes proposées. Nos expériences démontrent en outre que notre approche produit des estimations d'incertitude bien calibrées. Nous mettons le code à disposition sur https://github.com/abenechehab/dicl.

English

The emerging zero-shot capabilities of Large Language Models (LLMs) have led to their applications in areas extending well beyond natural language processing tasks. In reinforcement learning, while LLMs have been extensively used in text-based environments, their integration with continuous state spaces remains understudied. In this paper, we investigate how pre-trained LLMs can be leveraged to predict in context the dynamics of continuous Markov decision processes. We identify handling multivariate data and incorporating the control signal as key challenges that limit the potential of LLMs' deployment in this setup and propose Disentangled In-Context Learning (DICL) to address them. We present proof-of-concept applications in two reinforcement learning settings: model-based policy evaluation and data-augmented off-policy reinforcement learning, supported by theoretical analysis of the proposed methods. Our experiments further demonstrate that our approach produces well-calibrated uncertainty estimates. We release the code at https://github.com/abenechehab/dicl.