PhysTwin: Physik-informierte Rekonstruktion und Simulation deformierbarer Objekte aus Videos

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

Autoren: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

Zusammenfassung

Die Erstellung eines physischen digitalen Zwillings eines realen Objekts birgt enormes Potenzial in den Bereichen Robotik, Inhaltserstellung und XR. In diesem Artikel stellen wir PhysTwin vor, ein neuartiges Framework, das spärliche Videos von dynamischen Objekten unter Interaktion nutzt, um eine fotorealistische und physikalisch realistische, in Echtzeit interaktive virtuelle Replik zu erzeugen. Unser Ansatz konzentriert sich auf zwei Schlüsselkomponenten: (1) eine physikinformierte Darstellung, die Feder-Masse-Modelle für realistische physikalische Simulationen, generative Formmodelle für die Geometrie und Gaußsche Splats für das Rendering kombiniert; und (2) ein neuartiges, optimierungsbasiertes inverses Modellierungsframework in mehreren Stufen, das die vollständige Geometrie rekonstruiert, dichte physikalische Eigenschaften ableitet und das realistische Erscheinungsbild aus Videos nachbildet. Unsere Methode integriert ein inverses Physikframework mit visuellen Wahrnehmungshinweisen, was eine hochauflösende Rekonstruktion selbst bei teilweise verdeckten und eingeschränkten Blickwinkeln ermöglicht. PhysTwin unterstützt die Modellierung verschiedener deformierbarer Objekte, darunter Seile, Stofftiere, Stoff und Lieferpakete. Experimente zeigen, dass PhysTwin konkurrierende Methoden in den Bereichen Rekonstruktion, Rendering, Zukunftsprognose und Simulation unter neuen Interaktionen übertrifft. Wir demonstrieren weiterhin seine Anwendungen in der interaktiven Echtzeitsimulation und der modellbasierten robotischen Bewegungsplanung.

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.