MineWorld: un Modello di Mondo Interattivo in Tempo Reale e Open-Source su Minecraft

MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft

April 11, 2025

Autori: Junliang Guo, Yang Ye, Tianyu He, Haoyu Wu, Yushu Jiang, Tim Pearce, Jiang Bian

cs.AI

Abstract

La modellazione del mondo è un compito cruciale per consentire agli agenti intelligenti di interagire efficacemente con gli esseri umani e operare in ambienti dinamici. In questo lavoro, proponiamo MineWorld, un modello di mondo interattivo in tempo reale su Minecraft, un gioco sandbox aperto che è stato utilizzato come banco di prova comune per la modellazione del mondo. MineWorld è guidato da un Transformer autoregressivo visivo-azione, che prende come input scene di gioco accoppiate e le azioni corrispondenti, e genera nuove scene conseguenti seguendo le azioni. Nello specifico, trasformando le scene visive del gioco e le azioni in identificatori di token discreti con un tokenizzatore di immagini e un tokenizzatore di azioni rispettivamente, componiamo l'input del modello con la concatenazione dei due tipi di identificatori intervallati. Il modello viene quindi addestrato con la previsione del token successivo per apprendere rappresentazioni ricche degli stati del gioco nonché le condizioni tra stati e azioni simultaneamente. Nell'inferenza, sviluppiamo un nuovo algoritmo di decodifica parallela che prevede i token ridondanti spaziali in ogni fotogramma contemporaneamente, consentendo ai modelli di diverse dimensioni di generare da 4 a 7 fotogrammi al secondo e abilitando interazioni in tempo reale con i giocatori. Nella valutazione, proponiamo nuove metriche per valutare non solo la qualità visiva ma anche la capacità di seguire le azioni durante la generazione di nuove scene, aspetto cruciale per un modello di mondo. La nostra valutazione completa dimostra l'efficacia di MineWorld, superando significativamente i modelli di mondo basati su diffusione open-source allo stato dell'arte. Il codice e il modello sono stati rilasciati.

English

World modeling is a crucial task for enabling intelligent agents to effectively interact with humans and operate in dynamic environments. In this work, we propose MineWorld, a real-time interactive world model on Minecraft, an open-ended sandbox game which has been utilized as a common testbed for world modeling. MineWorld is driven by a visual-action autoregressive Transformer, which takes paired game scenes and corresponding actions as input, and generates consequent new scenes following the actions. Specifically, by transforming visual game scenes and actions into discrete token ids with an image tokenizer and an action tokenizer correspondingly, we consist the model input with the concatenation of the two kinds of ids interleaved. The model is then trained with next token prediction to learn rich representations of game states as well as the conditions between states and actions simultaneously. In inference, we develop a novel parallel decoding algorithm that predicts the spatial redundant tokens in each frame at the same time, letting models in different scales generate 4 to 7 frames per second and enabling real-time interactions with game players. In evaluation, we propose new metrics to assess not only visual quality but also the action following capacity when generating new scenes, which is crucial for a world model. Our comprehensive evaluation shows the efficacy of MineWorld, outperforming SoTA open-sourced diffusion based world models significantly. The code and model have been released.