LLM game-teoretico: flusso di lavoro dell'agente per i giochi di negoziazione

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

Autori: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

Abstract

Questo articolo indaga la razionalità dei grandi modelli linguistici (LLM) nei contesti decisionali strategici, in particolare all'interno del quadro della teoria dei giochi. Valutiamo diversi LLM all'avanguardia attraverso una gamma di giochi con informazioni complete e incomplete. I nostri risultati rivelano che i LLM deviano frequentemente da strategie razionali, soprattutto all'aumentare della complessità del gioco con matrici di payoff più ampie o alberi sequenziali più profondi. Per affrontare queste limitazioni, progettiamo diversi flussi di lavoro teorici che guidano i processi di ragionamento e decisionali dei LLM. Questi flussi di lavoro mirano a potenziare la capacità dei modelli di calcolare gli equilibri di Nash e prendere decisioni razionali, anche in condizioni di incertezza e informazioni incomplete. I risultati sperimentali dimostrano che l'adozione di questi flussi di lavoro migliora significativamente la razionalità e la robustezza dei LLM nei compiti di teoria dei giochi. In particolare, con il flusso di lavoro, i LLM mostrano miglioramenti significativi nell'identificare strategie ottimali, raggiungere allocazioni quasi ottimali in scenari di negoziazione e ridurre la suscettibilità all'esposizione durante le negoziazioni. Inoltre, esploriamo le considerazioni meta-strategiche su se sia razionale per gli agenti adottare tali flussi di lavoro, riconoscendo che la decisione di utilizzare o rinunciare al flusso di lavoro costituisce di per sé una questione di teoria dei giochi. La nostra ricerca contribuisce a una comprensione più approfondita delle capacità decisionali dei LLM in contesti strategici e fornisce spunti per potenziarne la razionalità attraverso flussi di lavoro strutturati. I risultati hanno implicazioni per lo sviluppo di agenti AI più robusti e strategicamente solidi capaci di navigare ambienti interattivi complessi. Il codice e i dati che supportano questo studio sono disponibili su https://github.com/Wenyueh/game_theory.

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.