GameFactory: Het creëren van nieuwe spellen met generatieve interactieve video's

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

Auteurs: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

Samenvatting

Generatieve game-engines hebben het potentieel om de ontwikkeling van games te revolutioneren door autonoom nieuwe inhoud te creëren en de handmatige werklast te verminderen. Echter, bestaande op video gebaseerde methoden voor game-generatie falen in het aanpakken van de cruciale uitdaging van scène-generalisatie, waardoor hun toepasbaarheid beperkt blijft tot bestaande games met vaste stijlen en scènes. In dit artikel presenteren we GameFactory, een raamwerk dat zich richt op het verkennen van scène-generalisatie in de generatie van gamevideo's. Om de creatie van volledig nieuwe en diverse games mogelijk te maken, maken we gebruik van vooraf getrainde video-diffusiemodellen die zijn getraind op open-domein videogegevens. Om de kloof tussen open-domein voorafgaanden en kleine game-datasets te overbruggen, stellen we een meerfasige trainingsstrategie voor die spelstijl-leren ontkoppelt van actiecontrole, waarbij open-domein generalisatie behouden blijft terwijl actiecontrole wordt bereikt. Met Minecraft als onze gegevensbron, stellen we GF-Minecraft beschikbaar, een hoogwaardige en diverse actie-geannoteerde videodataset voor onderzoek. Bovendien breiden we ons raamwerk uit om autoregressieve actie-controleerbare gamevideo-generatie mogelijk te maken, waardoor de productie van interactieve gamevideo's van onbeperkte lengte mogelijk is. Experimentele resultaten tonen aan dat GameFactory effectief open-domein, diverse en actie-controleerbare gamevideo's genereert, wat een significante vooruitgang betekent in door AI aangedreven gamegeneratie. Onze dataset en projectpagina zijn openbaar beschikbaar op https://vvictoryuki.github.io/gamefactory/.

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.