가우시안 속성: 물리적 속성을 LMMs와 함께 3D 가우시안에 통합하기

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

저자: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

초록

시각 데이터의 물리적 특성을 추정하는 것은 증강 현실, 물리 시뮬레이션, 로봇 그랩 등의 응용 프로그램을 뒷받침하는 컴퓨터 비전, 그래픽스 및 로봇학에서 중요한 작업입니다. 그러나 물리적 특성 추정의 본질적 모호성으로 인해 이 영역은 여전히 탐구되지 않은 상태입니다. 이러한 도전에 대처하기 위해 우리는 훈련 없이 물질의 물리적 특성을 3D 가우시안에 할당하는 GaussianProperty를 소개합니다. 구체적으로, 우리는 SAM의 분할 능력과 GPT-4V(ision)의 인식 능력을 통합하여 2D 이미지를 위한 전역-지역 물리적 특성 추론 모듈을 구성합니다. 그런 다음, 다각도 2D 이미지에서 물리적 특성을 3D 가우시안에 투영하기 위해 투표 전략을 사용합니다. 물리적 특성이 주석 처리된 3D 가우시안이 물리 기반 동적 시뮬레이션 및 로봇 그랩 응용 프로그램을 가능하게 한다는 것을 증명합니다. 물리 기반 동적 시뮬레이션에서는 현실적인 동적 시뮬레이션을 위해 재료 점 방법(MPM)을 활용합니다. 로봇 그랩에서는 추정된 물리적 특성을 기반으로 물체 그랩에 필요한 안전한 힘 범위를 추정하는 그랩 힘 예측 전략을 개발합니다. 물질 분할, 물리 기반 동적 시뮬레이션 및 로봇 그랩에 대한 포괄적인 실험은 우리가 제안한 방법의 효과를 검증하며 시각 데이터로부터 물리적 특성을 이해하는 데 있어 그 역할의 중요성을 강조합니다. 온라인 데모, 코드, 더 많은 사례 및 주석 처리된 데이터셋은 https://Gaussian-Property.github.io{이 URL}에서 확인할 수 있습니다.

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.