Speltheoretische LLM: Agent Workflow voor Onderhandelingsspellen

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

Auteurs: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

Samenvatting

Deze paper onderzoekt de rationaliteit van grote taalmodellen (LLMs) in strategische besluitvormingscontexten, specifiek binnen het kader van speltheorie. We evalueren verschillende toonaangevende LLMs over een spectrum van spellen met volledige informatie en onvolledige informatie. Onze bevindingen tonen aan dat LLMs vaak afwijken van rationele strategieën, vooral wanneer de complexiteit van het spel toeneemt met grotere uitbetalingstabellen of diepere sequentiële bomen. Om deze beperkingen aan te pakken, ontwerpen we meerdere speltheoretische workflows die de redenering en besluitvormingsprocessen van LLMs begeleiden. Deze workflows beogen de modellen te verbeteren in hun vermogen om Nash-evenwichten te berekenen en rationele keuzes te maken, zelfs onder omstandigheden van onzekerheid en onvolledige informatie. Experimentele resultaten tonen aan dat de adoptie van deze workflows de rationaliteit en robuustheid van LLMs aanzienlijk verbetert in speltheoretische taken. Specifiek vertonen LLMs met de workflow aanzienlijke verbeteringen in het identificeren van optimale strategieën, het bereiken van bijna-optimale toewijzingen in onderhandelingsscenario's, en het verminderen van vatbaarheid voor uitbuiting tijdens onderhandelingen. Bovendien verkennen we de meta-strategische overwegingen of het rationeel is voor agenten om dergelijke workflows aan te nemen, waarbij we erkennen dat de beslissing om de workflow te gebruiken of ervan af te zien op zichzelf een speltheoretische kwestie vormt. Ons onderzoek draagt bij aan een dieper begrip van de besluitvormingscapaciteiten van LLMs in strategische contexten en biedt inzichten in het verbeteren van hun rationaliteit door gestructureerde workflows. De bevindingen hebben implicaties voor de ontwikkeling van meer robuuste en strategisch klinkende AI-agenten die in staat zijn om te navigeren in complexe interactieve omgevingen. Code en gegevens die dit onderzoek ondersteunen zijn beschikbaar op https://github.com/Wenyueh/game_theory.

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.