Ungebunden: Ein generatives unendliches Spiel zur Simulation des Lebens von Charakteren

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

Autoren: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

Zusammenfassung

Wir stellen das Konzept eines generativen unendlichen Spiels vor, ein Videospiel, das die traditionellen Grenzen endlicher, fest codierter Systeme durch die Verwendung generativer Modelle überwindet. Inspiriert von James P. Carses Unterscheidung zwischen endlichen und unendlichen Spielen nutzen wir die jüngsten Fortschritte in der generativen KI, um Unbounded zu kreieren: ein Spiel zur Simulation des Lebens eines Charakters, das vollständig in generativen Modellen verkörpert ist. Speziell bezieht Unbounded Inspiration aus Sandbox-Lebenssimulationen und ermöglicht es Ihnen, mit Ihrem autonomen virtuellen Charakter in einer virtuellen Welt zu interagieren, indem Sie ihn füttern, mit ihm spielen und ihn führen - mit offenen Mechaniken, die von einem LLM generiert werden, von denen einige emergent sein können. Um Unbounded zu entwickeln, schlagen wir technische Innovationen in den Bereichen des LLM und der visuellen Generierung vor. Konkret präsentieren wir: (1) ein spezialisiertes, destilliertes großes Sprachmodell (LLM), das dynamisch Spielmechaniken, Erzählungen und Charakterinteraktionen in Echtzeit generiert, und (2) einen neuen dynamischen regionalen Bildprompt-Adapter (IP-Adapter) für Bildmodelle, der eine konsistente, aber flexible visuelle Generierung eines Charakters in mehreren Umgebungen gewährleistet. Wir evaluieren unser System durch sowohl qualitative als auch quantitative Analysen und zeigen signifikante Verbesserungen in der Simulation des Charakterlebens, der Benutzeranweisungen, der narrativen Kohärenz und der visuellen Konsistenz sowohl für Charaktere als auch für die Umgebungen im Vergleich zu traditionellen Ansätzen.

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.