PhysTwin: Ricostruzione e Simulazione Basata sulla Fisica di Oggetti Deformabili da Video

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

Autori: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

Abstract

La creazione di un gemello digitale fisico di un oggetto del mondo reale ha un potenziale immenso nella robotica, nella creazione di contenuti e nella realtà estesa (XR). In questo articolo, presentiamo PhysTwin, un nuovo framework che utilizza video sparsi di oggetti dinamici sotto interazione per produrre una replica virtuale fotorealistica, fisicamente realistica e interattiva in tempo reale. Il nostro approccio si concentra su due componenti chiave: (1) una rappresentazione informata dalla fisica che combina modelli a massa-molla per una simulazione fisica realistica, modelli generativi di forma per la geometria e spline gaussiane per il rendering; e (2) un innovativo framework di modellazione inversa basato su ottimizzazione multi-stadio che ricostruisce la geometria completa, inferisce proprietà fisiche dense e replica l'aspetto realistico a partire dai video. Il nostro metodo integra un framework di fisica inversa con indizi di percezione visiva, consentendo una ricostruzione ad alta fedeltà anche da punti di vista parziali, occlusi e limitati. PhysTwin supporta la modellazione di vari oggetti deformabili, inclusi corde, peluche, tessuti e pacchi di consegna. Gli esperimenti dimostrano che PhysTwin supera i metodi concorrenti nella ricostruzione, nel rendering, nella previsione futura e nella simulazione sotto nuove interazioni. Dimostriamo inoltre le sue applicazioni nella simulazione interattiva in tempo reale e nella pianificazione del movimento robotico basata su modelli.

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.