Synthetisches Video verbessert die physikalische Treue in der Videosynthese

Synthetic Video Enhances Physical Fidelity in Video Synthesis

March 26, 2025

Autoren: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang

cs.AI

Zusammenfassung

Wir untersuchen, wie die physikalische Genauigkeit von Videogenerierungsmodellen verbessert werden kann, indem synthetische Videos aus Computergrafik-Pipelines genutzt werden. Diese gerenderten Videos berücksichtigen die Physik der realen Welt, wie die Wahrung der 3D-Konsistenz, und stellen eine wertvolle Ressource dar, die das Potenzial hat, Videogenerierungsmodelle zu verbessern. Um dieses Potenzial zu nutzen, schlagen wir eine Lösung vor, die synthetische Daten kuratiert und integriert, während eine Methode eingeführt wird, um deren physikalische Realität auf das Modell zu übertragen, wodurch unerwünschte Artefakte deutlich reduziert werden. Durch Experimente zu drei repräsentativen Aufgaben, die physikalische Konsistenz betonen, demonstrieren wir die Wirksamkeit dieses Ansatzes bei der Steigerung der physikalischen Genauigkeit. Obwohl unser Modell noch kein tiefes Verständnis der Physik besitzt, bietet unsere Arbeit einen der ersten empirischen Nachweise, dass synthetische Videos die physikalische Genauigkeit in der Videosynthese verbessern. Website: https://kevinz8866.github.io/simulation/

English

We investigate how to enhance the physical fidelity of video generation models by leveraging synthetic videos derived from computer graphics pipelines. These rendered videos respect real-world physics, such as maintaining 3D consistency, and serve as a valuable resource that can potentially improve video generation models. To harness this potential, we propose a solution that curates and integrates synthetic data while introducing a method to transfer its physical realism to the model, significantly reducing unwanted artifacts. Through experiments on three representative tasks emphasizing physical consistency, we demonstrate its efficacy in enhancing physical fidelity. While our model still lacks a deep understanding of physics, our work offers one of the first empirical demonstrations that synthetic video enhances physical fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/