Illimité : Un jeu génératif infini de simulation de vie de personnage

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

Auteurs: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

Résumé

Nous introduisons le concept d'un jeu vidéo génératif infini, un jeu vidéo qui transcende les limites traditionnelles des systèmes finis et codés en dur en utilisant des modèles génératifs. Inspirés par la distinction de James P. Carse entre les jeux finis et infinis, nous exploitons les récents progrès en IA générative pour créer Unbounded : un jeu de simulation de vie de personnage entièrement encapsulé dans des modèles génératifs. Plus précisément, Unbounded s'inspire des simulations de vie sandbox et vous permet d'interagir avec votre personnage virtuel autonome dans un monde virtuel en le nourrissant, en jouant avec lui et en le guidant - avec des mécaniques ouvertes générées par un LLM, dont certaines peuvent être émergentes. Afin de développer Unbounded, nous proposons des innovations techniques à la fois dans les domaines de la génération de langage et de la génération visuelle. Plus précisément, nous présentons : (1) un modèle de langage de grande taille (LLM) spécialisé et distillé qui génère dynamiquement des mécaniques de jeu, des récits et des interactions de personnages en temps réel, et (2) un nouvel Adaptateur d'indice d'image régional dynamique (IP-Adapter) pour les modèles de vision qui garantit une génération visuelle cohérente mais flexible d'un personnage à travers plusieurs environnements. Nous évaluons notre système à la fois par une analyse qualitative et quantitative, montrant des améliorations significatives dans la simulation de vie de personnage, le suivi des instructions des utilisateurs, la cohérence narrative et la cohérence visuelle pour les personnages et les environnements par rapport aux approches traditionnelles connexes.

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.