WorldSimBench : Vers des modèles de génération vidéo en tant que simulateurs de monde

WorldSimBench: Towards Video Generation Models as World Simulators

October 23, 2024

Auteurs: Yiran Qin, Zhelun Shi, Jiwen Yu, Xijun Wang, Enshen Zhou, Lijun Li, Zhenfei Yin, Xihui Liu, Lu Sheng, Jing Shao, Lei Bai, Wanli Ouyang, Ruimao Zhang

cs.AI

Résumé

Les récents progrès dans les modèles prédictifs ont démontré des capacités exceptionnelles à prédire l'état futur des objets et des scènes. Cependant, le manque de catégorisation basée sur des caractéristiques inhérentes continue de freiner le développement des modèles prédictifs. De plus, les bancs d'essai existants ne parviennent pas à évaluer efficacement les modèles prédictifs à haute capacité et hautement incarnés d'un point de vue incarné. Dans ce travail, nous classifions les fonctionnalités des modèles prédictifs dans une hiérarchie et franchissons la première étape dans l'évaluation des simulateurs de monde en proposant un cadre d'évaluation double appelé WorldSimBench. WorldSimBench comprend une Évaluation Perceptive Explicite et une Évaluation Manipulative Implicite, englobant des évaluations de préférence humaine du point de vue visuel et des évaluations au niveau de l'action dans des tâches incarnées, couvrant trois scénarios incarnés représentatifs : Environnement Incarné à Ouverture Illimitée, Conduite Autonome et Manipulation de Robot. Dans l'Évaluation Perceptive Explicite, nous introduisons le jeu de données HF-Incarne, un jeu de données d'évaluation vidéo basé sur des retours humains détaillés, que nous utilisons pour entraîner un Évaluateur de Préférence Humaine qui se conforme à la perception humaine et évalue explicitement la fidélité visuelle des Simulateurs de Monde. Dans l'Évaluation Manipulative Implicite, nous évaluons la cohérence vidéo-action des Simulateurs de Monde en évaluant si la vidéo générée consciente de la situation peut être traduite avec précision en signaux de contrôle corrects dans des environnements dynamiques. Notre évaluation complète offre des informations clés qui peuvent stimuler davantage l'innovation dans les modèles de génération vidéo, positionnant les Simulateurs de Monde comme une avancée cruciale vers une intelligence artificielle incarnée.

English

Recent advancements in predictive models have demonstrated exceptional capabilities in predicting the future state of objects and scenes. However, the lack of categorization based on inherent characteristics continues to hinder the progress of predictive model development. Additionally, existing benchmarks are unable to effectively evaluate higher-capability, highly embodied predictive models from an embodied perspective. In this work, we classify the functionalities of predictive models into a hierarchy and take the first step in evaluating World Simulators by proposing a dual evaluation framework called WorldSimBench. WorldSimBench includes Explicit Perceptual Evaluation and Implicit Manipulative Evaluation, encompassing human preference assessments from the visual perspective and action-level evaluations in embodied tasks, covering three representative embodied scenarios: Open-Ended Embodied Environment, Autonomous, Driving, and Robot Manipulation. In the Explicit Perceptual Evaluation, we introduce the HF-Embodied Dataset, a video assessment dataset based on fine-grained human feedback, which we use to train a Human Preference Evaluator that aligns with human perception and explicitly assesses the visual fidelity of World Simulators. In the Implicit Manipulative Evaluation, we assess the video-action consistency of World Simulators by evaluating whether the generated situation-aware video can be accurately translated into the correct control signals in dynamic environments. Our comprehensive evaluation offers key insights that can drive further innovation in video generation models, positioning World Simulators as a pivotal advancement toward embodied artificial intelligence.