게임 이론적 LLM: 협상 게임을 위한 에이전트 워크플로우

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

저자: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

초록

본 논문은 대규모 언어 모델(Large Language Models, LLMs)의 합리성을 전략적 의사결정 맥락에서 게임 이론의 프레임워크 내에서 조사합니다. 우리는 여러 최첨단 LLMs를 완전정보 및 불완전정보 게임 스펙트럼을 통해 평가합니다. 우리의 연구 결과는 LLMs가 주로 합리적인 전략에서 벗어나는 것을 보여주며, 특히 게임의 복잡성이 더 큰 페이오프 매트릭스나 더 깊은 순차적 트리로 증가할수록 그 경향이 뚜렷해집니다. 이러한 한계를 해결하기 위해, 우리는 LLMs의 추론과 의사결정 과정을 안내하는 여러 게임 이론적 워크플로우를 설계합니다. 이러한 워크플로우는 모델이 나쉬 균형을 계산하고 합리적인 선택을 할 수 있는 능력을 향상시키기 위해 목표로 하며, 불확실성과 불완전 정보의 조건에서도 작동합니다. 실험 결과는 이러한 워크플로우의 채택이 게임 이론적 작업에서 LLMs의 합리성과 견고성을 크게 향상시킨다는 것을 보여줍니다. 구체적으로 워크플로우를 통해 LLMs는 최적 전략을 식별하는 데 큰 향상을 보이며, 협상 시나리오에서 거의 최적의 할당을 달성하고, 협상 중의 악용 가능성을 줄입니다. 더 나아가, 우리는 에이전트가 이러한 워크플로우를 채택하는 것이 합리적인지에 대한 메타 전략적 고려를 탐구하며, 워크플로우를 사용하거나 포기하는 결정 자체가 게임 이론적 문제임을 인식합니다. 우리의 연구는 전략적 맥락에서 LLMs의 의사결정 능력에 대한 깊은 이해를 제공하며, 구조화된 워크플로우를 통해 그들의 합리성을 향상시키는 통찰을 제공합니다. 이 연구 결과는 복잡한 상호작용 환경을 탐색할 수 있는 더 견고하고 전략적으로 탄탄한 AI 에이전트의 개발에 영향을 미칩니다. 이 연구를 지원하는 코드와 데이터는 https://github.com/Wenyueh/game_theory에서 사용 가능합니다.

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.