게임공장: 생성적 대화형 비디오를 활용한 새로운 게임 제작

GameFactory: Creating New Games with Generative Interactive Videos

January 14, 2025

저자: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu

cs.AI

초록

생성적 게임 엔진은 새로운 콘텐츠를 자동으로 생성하고 수작업 작업 부하를 줄여 게임 개발을 혁신할 수 있는 잠재력을 지니고 있습니다. 그러나 기존의 비디오 기반 게임 생성 방법은 장면 일반화라는 중요한 도전 과제를 해결하지 못하여, 고정된 스타일과 장면을 갖는 기존 게임에만 적용 가능성이 제한되어 있습니다. 본 논문에서는 게임 비디오 생성에서 장면 일반화를 탐구하는 데 초점을 맞춘 GameFactory 프레임워크를 제안합니다. 완전히 새로운 다양한 게임을 만들기 위해, 오픈 도메인 비디오 데이터에서 훈련된 사전 학습된 비디오 확산 모델을 활용합니다. 오픈 도메인 사전 지식과 소규모 게임 데이터셋 사이의 도메인 갭을 줄이기 위해 게임 스타일 학습과 액션 제어를 분리하는 다단계 훈련 전략을 제안하여, 오픈 도메인 일반화를 보존하면서 액션 제어 가능성을 달성합니다. Minecraft를 데이터 원본으로 사용하여 연구용 고품질 다양한 액션 주석이 달린 비디오 데이터셋인 GF-Minecraft을 공개합니다. 더 나아가, 자기 회귀적 액션 제어 가능한 게임 비디오 생성을 가능하게 하는 프레임워크를 확장하여, 무제한 길이의 상호작용적인 게임 비디오를 제작할 수 있습니다. 실험 결과는 GameFactory가 오픈 도메인, 다양하며 액션 제어 가능한 게임 비디오를 효과적으로 생성하며, AI 기반 게임 생성 분야에서 중요한 발전을 나타낸다는 것을 입증합니다. 저희 데이터셋과 프로젝트 페이지는 https://vvictoryuki.github.io/gamefactory/에서 공개되어 있습니다.

English

Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at https://vvictoryuki.github.io/gamefactory/.