Создание интерактивных реплик сложных шарнирных объектов с использованием гауссовых сплайнов

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025

Авторы: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

cs.AI

Аннотация

Создание сочленённых объектов представляет собой ключевую задачу в области компьютерного зрения. Существующие методы часто не способны эффективно интегрировать информацию между различными состояниями объекта, что ограничивает точность восстановления сетки частей и моделирования их динамики, особенно для сложных многокомпонентных сочленённых объектов. Мы представляем ArtGS — новый подход, который использует 3D-гауссовы распределения в качестве гибкого и эффективного представления для решения этих проблем. Наш метод включает канонические гауссовы распределения с инициализацией и обновлением от грубого к точному для согласования информации о сочленённых частях между различными состояниями объекта, а также применяет модуль моделирования динамики частей, вдохновлённый скинингом, для улучшения как восстановления сетки частей, так и обучения сочленению. Обширные эксперименты на синтетических и реальных данных, включая новый бенчмарк для сложных многокомпонентных объектов, демонстрируют, что ArtGS достигает наилучших результатов в совместной оценке параметров и восстановлении сетки частей. Наш подход значительно улучшает качество и эффективность восстановления, особенно для многокомпонентных сочленённых объектов. Кроме того, мы предоставляем всесторонний анализ наших проектных решений, подтверждая эффективность каждого компонента и выделяя потенциальные направления для дальнейшего улучшения.

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.