SpielFabrik: Erstellung neuer Spiele mit generativen interaktiven Videos

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

Autoren: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

Zusammenfassung

Generative Spiel-Engines haben das Potenzial, die Spielentwicklung zu revolutionieren, indem sie autonom neuen Inhalt erstellen und die manuelle Arbeitsbelastung reduzieren. Allerdings scheitern bestehende videobasierte Methoden zur Spielgenerierung daran, die entscheidende Herausforderung der Szenenverallgemeinerung anzugehen, was ihre Anwendbarkeit auf bestehende Spiele mit festen Stilen und Szenen einschränkt. In diesem Paper präsentieren wir GameFactory, ein Framework, das sich auf die Erforschung der Szenenverallgemeinerung in der Spielvideogenerierung konzentriert. Um die Erstellung völlig neuer und vielfältiger Spiele zu ermöglichen, nutzen wir vortrainierte Video-Diffusionsmodelle, die auf Open-Domain-Videodaten trainiert sind. Um die Domänenlücke zwischen Open-Domain-Prioritäten und kleinen Spielsätzen zu überbrücken, schlagen wir eine mehrphasige Schulungsstrategie vor, die das Lernen von Spielstilen von der Aktionssteuerung entkoppelt, wodurch die Open-Domain-Verallgemeinerung erhalten bleibt und gleichzeitig die Aktionssteuerbarkeit erreicht wird. Unter Verwendung von Minecraft als unserer Datenquelle veröffentlichen wir GF-Minecraft, einen qualitativ hochwertigen und vielfältigen, mit Aktionen annotierten Videodatensatz für die Forschung. Darüber hinaus erweitern wir unser Framework, um autoregressive, aktionssteuerbare Spielvideogenerierung zu ermöglichen, was die Produktion interaktiver Spielvideos mit unbegrenzter Länge ermöglicht. Experimentelle Ergebnisse zeigen, dass GameFactory effektiv offene Domäne, vielfältige und aktionssteuerbare Spielvideos generiert, was einen bedeutenden Fortschritt in der KI-gesteuerten Spielgenerierung darstellt. Unser Datensatz und die Projektseite sind öffentlich unter https://vvictoryuki.github.io/gamefactory/ verfügbar.

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.