Onbegrensd: Een Generatief Oneindig Spel van Karakter Levenssimulatie

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

Auteurs: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

Samenvatting

We introduceren het concept van een generatief oneindig spel, een videospel dat de traditionele grenzen van eindige, hard-gecodeerde systemen overstijgt door gebruik te maken van generatieve modellen. Geïnspireerd door James P. Carse's onderscheid tussen eindige en oneindige spellen, maken we gebruik van recente ontwikkelingen in generatieve AI om Unbounded te creëren: een spel van karakterlevensimulatie dat volledig is ingekapseld in generatieve modellen. Specifiek haalt Unbounded inspiratie uit sandbox-levensimulaties en stelt je in staat om te interacteren met je autonome virtuele karakter in een virtuele wereld door het te voeden, mee te spelen en te begeleiden - met open-eind mechanica gegenereerd door een LLM, waarvan sommige emergent kunnen zijn. Om Unbounded te ontwikkelen, stellen we technische innovaties voor in zowel het LLM- als het visuele generatiedomein. Specifiek presenteren we: (1) een gespecialiseerd, gedistilleerd groot taalmodel (LLM) dat dynamisch spelmechanica, verhalen en karakterinteracties in realtime genereert, en (2) een nieuwe dynamische regionale beeldprompt Adapter (IP-Adapter) voor visiemodellen die zorgt voor consistente maar flexibele visuele generatie van een karakter over meerdere omgevingen. We evalueren ons systeem door middel van zowel kwalitatieve als kwantitatieve analyse, waarbij we significante verbeteringen laten zien in karakterlevensimulatie, gebruikersinstructieopvolging, narratieve coherentie en visuele consistentie voor zowel karakters als de omgevingen in vergelijking met traditionele gerelateerde benaderingen.

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.