LLM game-théorique : Flux de travail de l'agent pour les jeux de négociation

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

Auteurs: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

Résumé

Cet article examine la rationalité des grands modèles de langage (LLMs) dans des contextes de prise de décision stratégique, en particulier dans le cadre de la théorie des jeux. Nous évaluons plusieurs LLMs de pointe à travers un spectre de jeux à information complète et incomplète. Nos résultats révèlent que les LLMs s'écartent fréquemment des stratégies rationnelles, en particulier lorsque la complexité du jeu augmente avec des matrices de paiement plus grandes ou des arbres séquentiels plus profonds. Pour remédier à ces limitations, nous concevons plusieurs flux de travail de théorie des jeux qui guident les processus de raisonnement et de prise de décision des LLMs. Ces flux de travail visent à améliorer la capacité des modèles à calculer les équilibres de Nash et à prendre des décisions rationnelles, même dans des conditions d'incertitude et d'information incomplète. Les résultats expérimentaux montrent que l'adoption de ces flux de travail améliore significativement la rationalité et la robustesse des LLMs dans les tâches de théorie des jeux. En particulier, avec le flux de travail, les LLMs présentent des améliorations notables dans l'identification des stratégies optimales, l'atteinte d'allocations quasi-optimales dans des scénarios de négociation, et la réduction de la susceptibilité à l'exploitation lors des négociations. De plus, nous explorons les considérations méta-stratégiques sur la question de savoir s'il est rationnel pour les agents d'adopter de tels flux de travail, en reconnaissant que la décision d'utiliser ou de renoncer au flux de travail constitue en soi une question de théorie des jeux. Notre recherche contribue à une compréhension plus approfondie des capacités de prise de décision des LLMs dans des contextes stratégiques et offre des perspectives pour améliorer leur rationalité grâce à des flux de travail structurés. Les conclusions ont des implications pour le développement d'agents IA plus robustes et stratégiquement solides capables de naviguer dans des environnements interactifs complexes. Le code et les données soutenant cette étude sont disponibles sur https://github.com/Wenyueh/game_theory.

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.