Spieltheoretisches LLM: Agentenworkflow für Verhandlungsspiele

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

Autoren: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

Zusammenfassung

Dieses Papier untersucht die Rationalität großer Sprachmodelle (LLMs) in strategischen Entscheidungskontexten, insbesondere im Rahmen der Spieltheorie. Wir bewerten mehrere hochmoderne LLMs in einem Spektrum von Spielen mit vollständiger und unvollständiger Information. Unsere Ergebnisse zeigen, dass LLMs häufig von rationalen Strategien abweichen, insbesondere wenn die Komplexität des Spiels mit größeren Auszahlungsmatrizen oder tieferen sequenziellen Bäumen zunimmt. Um diese Einschränkungen zu adressieren, entwerfen wir mehrere spieltheoretische Workflows, die die Denk- und Entscheidungsprozesse von LLMs lenken. Diese Workflows zielen darauf ab, die Fähigkeit der Modelle zur Berechnung von Nash-Gleichgewichten zu verbessern und rationale Entscheidungen zu treffen, selbst unter Bedingungen von Unsicherheit und unvollständiger Information. Experimentelle Ergebnisse zeigen, dass die Anwendung dieser Workflows die Rationalität und Robustheit von LLMs in spieltheoretischen Aufgaben signifikant verbessert. Insbesondere zeigen LLMs mit dem Workflow deutliche Verbesserungen bei der Identifizierung optimaler Strategien, der Erreichung nahezu optimaler Allokationen in Verhandlungsszenarien und der Reduzierung der Anfälligkeit für Ausbeutung während Verhandlungen. Des Weiteren untersuchen wir die metastrategischen Überlegungen, ob es rational für Agenten ist, solche Workflows zu übernehmen, wobei wir erkennen, dass die Entscheidung, den Workflow zu verwenden oder darauf zu verzichten, an sich ein spieltheoretisches Problem darstellt. Unsere Forschung trägt zu einem tieferen Verständnis der Entscheidungsfähigkeiten von LLMs in strategischen Kontexten bei und liefert Einblicke in die Verbesserung ihrer Rationalität durch strukturierte Workflows. Die Ergebnisse haben Auswirkungen auf die Entwicklung robusterer und strategisch fundierter KI-Agenten, die in der Lage sind, komplexe interaktive Umgebungen zu navigieren. Der Code und die Daten, die diese Studie unterstützen, sind unter https://github.com/Wenyueh/game_theory verfügbar.

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.