한계 없는: 캐릭터 생명 시뮬레이션의 생성적 무한 게임

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

저자: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

초록

우리는 유한하고 하드 코딩된 시스템의 전통적인 경계를 초월하는 생성 모델을 활용하여 생성적 무한 게임의 개념을 소개합니다. 제임스 P. 카스의 유한 및 무한 게임 간의 구별에서 영감을 받아, 최근 생성적 AI의 발전을 활용하여 완전히 생성 모델에 포함된 캐릭터 생명 시뮬레이션 게임 Unbounded를 만들었습니다. 구체적으로, Unbounded는 샌드박스 생명 시뮬레이션에서 영감을 받아, LLM에 의해 생성된 오픈 엔드 메카닉으로 캐릭터와 상호 작용하며 가상 세계에서 자율 가상 캐릭터를 먹이고 놀아주고 이끌 수 있습니다. Unbounded를 개발하기 위해, LLM 및 시각 생성 영역에서 기술적 혁신을 제안합니다. 구체적으로, (1) 실시간으로 게임 메카닉, 서술, 캐릭터 상호 작용을 동적으로 생성하는 전문화된 정제된 대형 언어 모델 (LLM)을 제시하고, (2) 여러 환경에서 캐릭터의 일관된 유연한 시각적 생성을 보장하는 새로운 동적 지역 이미지 프롬프트 어댑터 (IP-어댑터)를 시각 모델에 제시합니다. 우리는 우리의 시스템을 질적 및 양적 분석을 통해 평가하여, 캐릭터 생명 시뮬레이션, 사용자 지시 준수, 서술 일관성, 그리고 전통적인 관련 접근 방식과 비교하여 캐릭터 및 환경의 시각적 일관성에 대한 상당한 개선을 보여줍니다.

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.