WorldSimBench: Auf dem Weg zu Videogenerierungsmodellen als Welt-Simulatoren

WorldSimBench: Towards Video Generation Models as World Simulators

October 23, 2024

Autoren: Yiran Qin, Zhelun Shi, Jiwen Yu, Xijun Wang, Enshen Zhou, Lijun Li, Zhenfei Yin, Xihui Liu, Lu Sheng, Jing Shao, Lei Bai, Wanli Ouyang, Ruimao Zhang

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte bei prädiktiven Modellen außergewöhnliche Fähigkeiten bei der Vorhersage des zukünftigen Zustands von Objekten und Szenen gezeigt. Allerdings behindert der Mangel an Kategorisierung basierend auf inhärenten Merkmalen weiterhin den Fortschritt bei der Entwicklung prädiktiver Modelle. Darüber hinaus sind bestehende Benchmarks nicht in der Lage, hochfähige, stark verkörperte prädiktive Modelle aus einer verkörperten Perspektive effektiv zu bewerten. In dieser Arbeit klassifizieren wir die Funktionalitäten prädiktiver Modelle in eine Hierarchie und gehen den ersten Schritt bei der Bewertung von Welt-Simulatoren, indem wir einen dualen Bewertungsrahmen namens WorldSimBench vorschlagen. WorldSimBench umfasst eine explizite wahrnehmungsbasierte Bewertung und eine implizite manipulationsbasierte Bewertung, die menschliche Präferenzbewertungen aus der visuellen Perspektive und Bewertungen auf Aktivitätsebene in verkörperten Aufgaben umfasst und drei repräsentative verkörperte Szenarien abdeckt: Offene verkörperte Umgebung, Autonomes Fahren und Roboter-Manipulation. Bei der expliziten wahrnehmungsbasierten Bewertung führen wir das HF-Embodied-Datenset ein, ein Video-Bewertungsdatenset basierend auf feingranuliertem menschlichem Feedback, das wir verwenden, um einen Menschlichen Präferenzbewerter zu trainieren, der mit der menschlichen Wahrnehmung übereinstimmt und die visuelle Treue von Welt-Simulatoren explizit bewertet. Bei der impliziten manipulationsbasierten Bewertung bewerten wir die Video-Aktionskonsistenz von Welt-Simulatoren, indem wir bewerten, ob das generierte situationsbewusste Video in dynamischen Umgebungen genau in die richtigen Steuersignale übersetzt werden kann. Unsere umfassende Bewertung bietet wichtige Erkenntnisse, die weitere Innovationen in Video-Generierungsmodellen vorantreiben können und positioniert Welt-Simulatoren als entscheidenden Fortschritt hin zu verkörpertem künstlichen Intelligenz.

English

Recent advancements in predictive models have demonstrated exceptional capabilities in predicting the future state of objects and scenes. However, the lack of categorization based on inherent characteristics continues to hinder the progress of predictive model development. Additionally, existing benchmarks are unable to effectively evaluate higher-capability, highly embodied predictive models from an embodied perspective. In this work, we classify the functionalities of predictive models into a hierarchy and take the first step in evaluating World Simulators by proposing a dual evaluation framework called WorldSimBench. WorldSimBench includes Explicit Perceptual Evaluation and Implicit Manipulative Evaluation, encompassing human preference assessments from the visual perspective and action-level evaluations in embodied tasks, covering three representative embodied scenarios: Open-Ended Embodied Environment, Autonomous, Driving, and Robot Manipulation. In the Explicit Perceptual Evaluation, we introduce the HF-Embodied Dataset, a video assessment dataset based on fine-grained human feedback, which we use to train a Human Preference Evaluator that aligns with human perception and explicitly assesses the visual fidelity of World Simulators. In the Implicit Manipulative Evaluation, we assess the video-action consistency of World Simulators by evaluating whether the generated situation-aware video can be accurately translated into the correct control signals in dynamic environments. Our comprehensive evaluation offers key insights that can drive further innovation in video generation models, positioning World Simulators as a pivotal advancement toward embodied artificial intelligence.