Illimitato: Un gioco generativo infinito di simulazione della vita dei personaggi

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

Autori: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

Abstract

Introduciamo il concetto di un gioco infinito generativo, un videogioco che va oltre i tradizionali limiti dei sistemi finiti e codificati duramente utilizzando modelli generativi. Ispirandoci alla distinzione di James P. Carse tra giochi finiti e infiniti, sfruttiamo i recenti progressi nell'IA generativa per creare Unbounded: un gioco di simulazione della vita dei personaggi completamente racchiuso in modelli generativi. In particolare, Unbounded trae ispirazione dalle simulazioni di vita sandbox e ti consente di interagire con il tuo personaggio virtuale autonomo in un mondo virtuale nutrendolo, giocando con lui e guidandolo, con meccaniche a termine aperto generate da un LLM, alcune delle quali possono essere emergenti. Per sviluppare Unbounded, proponiamo innovazioni tecniche sia nei domini della generazione LLM che visiva. In particolare, presentiamo: (1) un modello linguistico di grandi dimensioni (LLM) specializzato e distillato che genera dinamicamente meccaniche di gioco, narrazioni e interazioni tra personaggi in tempo reale, e (2) un nuovo Adattatore di prompt di immagine regionale dinamico (IP-Adapter) per i modelli di visione che garantisce una generazione visiva coerente ma flessibile di un personaggio in diversi ambienti. Valutiamo il nostro sistema attraverso analisi qualitative e quantitative, mostrando miglioramenti significativi nella simulazione della vita dei personaggi, nell'istruzione degli utenti, nella coerenza narrativa e nella coerenza visiva sia per i personaggi che per gli ambienti rispetto agli approcci tradizionali correlati.

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.