Agenten spielen Tausende von 3D-Videospielen.

Agents Play Thousands of 3D Video Games

March 17, 2025

Autoren: Zhongwen Xu, Xianliang Wang, Siyi Li, Tao Yu, Liang Wang, Qiang Fu, Wei Yang

cs.AI

Zusammenfassung

Wir präsentieren PORTAL, ein neuartiges Framework zur Entwicklung von künstlichen Intelligenz-Agenten, die in der Lage sind, Tausende von 3D-Videospielen durch sprachgesteuerte Politikgenerierung zu spielen. Indem wir Entscheidungsprobleme in Sprachmodellierungsaufgaben umwandeln, nutzt unser Ansatz große Sprachmodelle (LLMs), um Verhaltensbäume in einer domänenspezifischen Sprache (DSL) zu generieren. Diese Methode eliminiert den rechenintensiven Aufwand traditioneller Reinforcement-Learning-Ansätze, während sie strategische Tiefe und schnelle Anpassungsfähigkeit bewahrt. Unser Framework führt eine hybride Politikstruktur ein, die regelbasierte Knoten mit neuronalen Netzwerkkomponenten kombiniert und so sowohl hochrangiges strategisches Denken als auch präzise niedrigrangige Steuerung ermöglicht. Ein duales Feedback-Mechanismus, der quantitative Spielmetriken und Vision-Language-Modellanalysen einbezieht, erleichtert die iterative Politikverbesserung auf taktischer und strategischer Ebene. Die resultierenden Politiken sind sofort einsetzbar, menscheninterpretierbar und in der Lage, sich über diverse Spielumgebungen hinweg zu verallgemeinern. Experimentelle Ergebnisse demonstrieren die Effektivität von PORTAL in Tausenden von First-Person-Shooter (FPS)-Spielen und zeigen signifikante Verbesserungen in der Entwicklungseffizienz, Politikverallgemeinerung und Verhaltensvielfalt im Vergleich zu traditionellen Ansätzen. PORTAL stellt einen bedeutenden Fortschritt in der Entwicklung von Spiel-KI dar und bietet eine praktische Lösung zur Erstellung anspruchsvoller Agenten, die mit minimalem Entwicklungsaufwand in Tausenden von kommerziellen Videospielen operieren können. Die experimentellen Ergebnisse zu den 3D-Videospielen sind am besten unter https://zhongwen.one/projects/portal zu betrachten.

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .