VideoWorld: Het verkennen van kennisleren uit ongelabelde video's

VideoWorld: Exploring Knowledge Learning from Unlabeled Videos

January 16, 2025

Auteurs: Zhongwei Ren, Yunchao Wei, Xun Guo, Yao Zhao, Bingyi Kang, Jiashi Feng, Xiaojie Jin

cs.AI

Samenvatting

Dit werk onderzoekt of een diep generatief model complexe kennis kan leren uitsluitend van visuele input, in tegenstelling tot de gangbare focus op op tekst gebaseerde modellen zoals grote taalmodellen (LLM's). We ontwikkelen VideoWorld, een autoregressief videogeneratiemodel getraind op ongelabelde videogegevens, en testen zijn kennisverwervingsmogelijkheden in op video gebaseerde Go- en robotbesturingstaken. Onze experimenten onthullen twee belangrijke bevindingen: (1) enkel video-training levert voldoende informatie voor het leren van kennis, inclusief regels, redenering en planningsmogelijkheden, en (2) de representatie van visuele verandering is cruciaal voor kennisverwerving. Om zowel de efficiëntie als effectiviteit van dit proces te verbeteren, introduceren we het Latent Dynamics Model (LDM) als een sleutelelement van VideoWorld. Opmerkelijk genoeg bereikt VideoWorld een professioneel niveau van 5-dan in de Video-GoBench met slechts een model van 300 miljoen parameters, zonder te vertrouwen op zoekalgoritmen of beloningsmechanismen die typisch zijn in reinforcement learning. In robottaken leert VideoWorld effectief diverse besturingsoperaties en generaliseert over omgevingen, waarbij het de prestaties van orakelmodellen in CALVIN en RLBench benadert. Deze studie opent nieuwe wegen voor kennisverwerving uit visuele gegevens, waarbij alle code, gegevens en modellen open-source zijn gemaakt voor verder onderzoek.

English

This work explores whether a deep generative model can learn complex knowledge solely from visual input, in contrast to the prevalent focus on text-based models like large language models (LLMs). We develop VideoWorld, an auto-regressive video generation model trained on unlabeled video data, and test its knowledge acquisition abilities in video-based Go and robotic control tasks. Our experiments reveal two key findings: (1) video-only training provides sufficient information for learning knowledge, including rules, reasoning and planning capabilities, and (2) the representation of visual change is crucial for knowledge acquisition. To improve both the efficiency and efficacy of this process, we introduce the Latent Dynamics Model (LDM) as a key component of VideoWorld. Remarkably, VideoWorld reaches a 5-dan professional level in the Video-GoBench with just a 300-million-parameter model, without relying on search algorithms or reward mechanisms typical in reinforcement learning. In robotic tasks, VideoWorld effectively learns diverse control operations and generalizes across environments, approaching the performance of oracle models in CALVIN and RLBench. This study opens new avenues for knowledge acquisition from visual data, with all code, data, and models open-sourced for further research.