AnimeGamer: Simulazione Infinita di Vita Anime con Predizione del Prossimo Stato di Gioco

AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction

April 1, 2025

Autori: Junhao Cheng, Yuying Ge, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Abstract

I recenti progressi nella sintesi di immagini e video hanno aperto nuove prospettive nei giochi generativi. Un'applicazione particolarmente intrigante è la trasformazione di personaggi di film anime in entità interattive e giocabili. Ciò consente ai giocatori di immergersi nel dinamico mondo anime nei panni dei loro personaggi preferiti per simulare la vita attraverso istruzioni linguistiche. Tali giochi sono definiti come giochi infiniti poiché eliminano confini predeterminati e regole di gioco fisse, permettendo ai giocatori di interagire con il mondo di gioco attraverso un linguaggio aperto e di sperimentare trame e ambienti in continua evoluzione. Recentemente, un approccio pionieristico per la simulazione infinita della vita anime utilizza modelli linguistici di grandi dimensioni (LLM) per tradurre dialoghi testuali multi-turn in istruzioni linguistiche per la generazione di immagini. Tuttavia, trascura il contesto visivo storico, portando a un gameplay incoerente. Inoltre, genera solo immagini statiche, non riuscendo a incorporare la dinamicità necessaria per un'esperienza di gioco coinvolgente. In questo lavoro, proponiamo AnimeGamer, basato su Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) per generare ogni stato di gioco, inclusi scatti di animazione dinamica che rappresentano i movimenti dei personaggi e gli aggiornamenti degli stati dei personaggi, come illustrato nella Figura 1. Introduciamo nuove rappresentazioni multimodali consapevoli delle azioni per rappresentare gli scatti di animazione, che possono essere decodificati in clip video di alta qualità utilizzando un modello di diffusione video. Prendendo come contesto le rappresentazioni storiche degli scatti di animazione e prevedendo le rappresentazioni successive, AnimeGamer può generare giochi con coerenza contestuale e dinamiche soddisfacenti. Valutazioni estensive utilizzando sia metriche automatizzate che valutazioni umane dimostrano che AnimeGamer supera i metodi esistenti in vari aspetti dell'esperienza di gioco. Codici e checkpoint sono disponibili all'indirizzo https://github.com/TencentARC/AnimeGamer.

English

Recent advancements in image and video synthesis have opened up new promise in generative games. One particularly intriguing application is transforming characters from anime films into interactive, playable entities. This allows players to immerse themselves in the dynamic anime world as their favorite characters for life simulation through language instructions. Such games are defined as infinite game since they eliminate predetermined boundaries and fixed gameplay rules, where players can interact with the game world through open-ended language and experience ever-evolving storylines and environments. Recently, a pioneering approach for infinite anime life simulation employs large language models (LLMs) to translate multi-turn text dialogues into language instructions for image generation. However, it neglects historical visual context, leading to inconsistent gameplay. Furthermore, it only generates static images, failing to incorporate the dynamics necessary for an engaging gaming experience. In this work, we propose AnimeGamer, which is built upon Multimodal Large Language Models (MLLMs) to generate each game state, including dynamic animation shots that depict character movements and updates to character states, as illustrated in Figure 1. We introduce novel action-aware multimodal representations to represent animation shots, which can be decoded into high-quality video clips using a video diffusion model. By taking historical animation shot representations as context and predicting subsequent representations, AnimeGamer can generate games with contextual consistency and satisfactory dynamics. Extensive evaluations using both automated metrics and human evaluations demonstrate that AnimeGamer outperforms existing methods in various aspects of the gaming experience. Codes and checkpoints are available at https://github.com/TencentARC/AnimeGamer.