Proprietà Gaussiana: Integrazione delle Proprietà Fisiche nelle Gaussiane 3D con LMM.

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

Autori: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

Abstract

Stimare le proprietà fisiche per i dati visivi è un compito cruciale nell'ambito della visione artificiale, della grafica e della robotica, alla base di applicazioni come la realtà aumentata, la simulazione fisica e la presa robotica. Tuttavia, questa area rimane poco esplorata a causa delle ambiguità intrinseche nella stima delle proprietà fisiche. Per affrontare tali sfide, presentiamo GaussianProperty, un framework privo di addestramento che assegna le proprietà fisiche dei materiali a Gaussiane tridimensionali. In particolare, integriamo la capacità di segmentazione di SAM con la capacità di riconoscimento di GPT-4V(ision) per formulare un modulo di ragionamento sulle proprietà fisiche globale-locale per immagini bidimensionali. Successivamente proiettiamo le proprietà fisiche da immagini bidimensionali multi-vista a Gaussiane tridimensionali utilizzando una strategia di voto. Dimostriamo che le Gaussiane tridimensionali con annotazioni sulle proprietà fisiche consentono applicazioni nella simulazione dinamica basata sulla fisica e nella presa robotica. Per la simulazione dinamica basata sulla fisica, sfruttiamo il Metodo dei Punti Materiali (MPM) per una simulazione dinamica realistica. Per la presa del robot, sviluppiamo una strategia di previsione della forza di presa che stima un intervallo di forza sicuro necessario per la presa degli oggetti in base alle proprietà fisiche stimate. Esperimenti estesi sulla segmentazione dei materiali, sulla simulazione dinamica basata sulla fisica e sulla presa robotica convalidano l'efficacia del nostro metodo proposto, evidenziandone il ruolo cruciale nella comprensione delle proprietà fisiche dai dati visivi. Una demo online, il codice, ulteriori casi e set di dati annotati sono disponibili su https://Gaussian-Property.github.io.

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.