WorldSimBench: Naar Videogeneratiemodellen als Wereldsimulatoren

WorldSimBench: Towards Video Generation Models as World Simulators

October 23, 2024

Auteurs: Yiran Qin, Zhelun Shi, Jiwen Yu, Xijun Wang, Enshen Zhou, Lijun Li, Zhenfei Yin, Xihui Liu, Lu Sheng, Jing Shao, Lei Bai, Wanli Ouyang, Ruimao Zhang

cs.AI

Samenvatting

Recente ontwikkelingen in voorspellende modellen hebben uitzonderlijke capaciteiten aangetoond in het voorspellen van de toekomstige staat van objecten en scènes. Echter, het gebrek aan categorisatie op basis van inherente kenmerken blijft de vooruitgang van de ontwikkeling van voorspellende modellen belemmeren. Bovendien zijn bestaande benchmarks niet in staat om hogere-capaciteit, sterk geïncarneerde voorspellende modellen effectief te evalueren vanuit een geïncarneerd perspectief. In dit werk classificeren we de functionaliteiten van voorspellende modellen in een hiërarchie en zetten we de eerste stap in de evaluatie van Wereldsimulatoren door een dubbel evaluatiekader voor te stellen genaamd WorldSimBench. WorldSimBench omvat Expliciete Perceptuele Evaluatie en Impliciete Manipulatieve Evaluatie, waarbij menselijke voorkeursbeoordelingen vanuit het visuele perspectief en actieniveau-evaluaties in geïncarneerde taken worden betrokken, met drie representatieve geïncarneerde scenario's: Open-Ended Geïncarneerde Omgeving, Autonoom Rijden en Robotmanipulatie. In de Expliciete Perceptuele Evaluatie introduceren we de HF-Geïncarneerde Dataset, een videobeoordelingsdataset gebaseerd op gedetailleerde menselijke feedback, die we gebruiken om een Menselijke Voorkeursbeoordelaar te trainen die in lijn is met menselijke perceptie en expliciet de visuele geloofwaardigheid van Wereldsimulatoren beoordeelt. In de Impliciete Manipulatieve Evaluatie beoordelen we de video-actie consistentie van Wereldsimulatoren door te evalueren of de gegenereerde situatiebewuste video nauwkeurig kan worden vertaald naar de juiste besturingssignalen in dynamische omgevingen. Onze uitgebreide evaluatie biedt belangrijke inzichten die verdere innovatie in videogeneratiemodellen kunnen stimuleren, waarbij Wereldsimulatoren worden gepositioneerd als een cruciale vooruitgang naar geïncarneerde kunstmatige intelligentie.

English

Recent advancements in predictive models have demonstrated exceptional capabilities in predicting the future state of objects and scenes. However, the lack of categorization based on inherent characteristics continues to hinder the progress of predictive model development. Additionally, existing benchmarks are unable to effectively evaluate higher-capability, highly embodied predictive models from an embodied perspective. In this work, we classify the functionalities of predictive models into a hierarchy and take the first step in evaluating World Simulators by proposing a dual evaluation framework called WorldSimBench. WorldSimBench includes Explicit Perceptual Evaluation and Implicit Manipulative Evaluation, encompassing human preference assessments from the visual perspective and action-level evaluations in embodied tasks, covering three representative embodied scenarios: Open-Ended Embodied Environment, Autonomous, Driving, and Robot Manipulation. In the Explicit Perceptual Evaluation, we introduce the HF-Embodied Dataset, a video assessment dataset based on fine-grained human feedback, which we use to train a Human Preference Evaluator that aligns with human perception and explicitly assesses the visual fidelity of World Simulators. In the Implicit Manipulative Evaluation, we assess the video-action consistency of World Simulators by evaluating whether the generated situation-aware video can be accurately translated into the correct control signals in dynamic environments. Our comprehensive evaluation offers key insights that can drive further innovation in video generation models, positioning World Simulators as a pivotal advancement toward embodied artificial intelligence.