ChatPaper.aiChatPaper

基于高斯溅射构建复杂铰接物体的可交互复制体

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025
作者: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang
cs.AI

摘要

构建关节物体是计算机视觉领域的一项关键挑战。现有方法往往难以有效整合不同物体状态间的信息,限制了部件网格重建和部件动态建模的准确性,尤其对于复杂的多部件关节物体而言。我们提出了ArtGS,一种新颖的方法,利用3D高斯作为灵活且高效的表示来解决这些问题。我们的方法结合了规范高斯与从粗到细的初始化和更新策略,以对齐不同物体状态下的关节部件信息,并采用了一种受蒙皮启发的部件动态建模模块,以提升部件网格重建和关节学习的效果。在合成和真实世界数据集上的大量实验,包括针对复杂多部件物体的新基准测试,均表明ArtGS在联合参数估计和部件网格重建方面达到了最先进的性能。我们的方法显著提高了重建质量和效率,特别是对于多部件关节物体。此外,我们还提供了对设计选择的全面分析,验证了每个组件的有效性,并指出了未来改进的潜在方向。
English
Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.

Summary

AI-Generated Summary

论文概览

核心贡献

  • 提出了ArtGS,一种基于3D高斯表示的新方法,用于重建复杂多部件铰接物体的可交互副本。
  • 引入了粗到细的规范高斯初始化基于蒙皮的部件动力学建模,显著提升了部件网格重建和铰接学习的准确性。
  • 在合成和真实世界数据集上进行了广泛实验,验证了该方法在联合参数估计和部件网格重建中的优越性能。

研究背景

  • 铰接物体在计算机视觉中具有重要意义,尤其是在场景理解和机器人学习等应用中。
  • 现有方法在处理多部件铰接物体时,难以有效整合不同物体状态的信息,导致部件网格重建和动力学建模的准确性受限。

关键词

  • 铰接物体重建
  • 3D高斯表示
  • 部件动力学建模
  • 规范高斯初始化

背景

研究空白

  • 现有方法在处理多部件铰接物体时,难以有效整合不同物体状态的信息,导致部件网格重建和动力学建模的准确性受限。

技术挑战

  • 物体几何重建的不确定性导致铰接参数学习不准确。
  • 多部件铰接物体的复杂性增加了建模的难度。

先前方法

  • 现有方法主要依赖于预训练模型提供的部件先验,但往往忽略了关键的运动信息,难以准确匹配不同状态下的像素。

方法论

技术架构

  • ArtGS采用3D高斯作为基础表示,通过规范高斯和粗到细的初始化策略,整合不同物体状态的信息。
  • 引入了基于蒙皮的部件动力学建模模块,提升了部件网格重建和铰接学习的准确性。

实现细节

  • 使用匈牙利匹配算法对单状态高斯进行匹配,生成粗规范高斯。
  • 通过运动分析对粗规范高斯进行细化,确保静态部件和动态部件的准确建模。
  • 采用中心聚类模块进行部件和动力学学习,利用高斯运动先验,提升部件对齐和铰接学习。

创新点

  • 引入了规范高斯初始化基于蒙皮的部件动力学建模,显著提升了部件网格重建和铰接学习的准确性。
  • 通过自引导的运动先验,改进了部件对齐和铰接学习。

结果

实验设置

  • PARISDTA-MultiArtGS-Multi数据集上进行了实验,评估了方法在部件网格重建和铰接参数估计中的性能。

主要发现

  • ArtGS在联合参数估计和部件网格重建中表现优异,尤其是在复杂多部件铰接物体上。
  • 在真实世界数据集上,ArtGS显著提升了重建质量和效率。

局限性

  • 当前方法仅适用于两状态建模,难以处理多状态下的复杂铰接物体。
  • 对于具有相似运动模式的部件,模型难以准确区分。

总结

  • ArtGS通过引入3D高斯表示和创新的状态对齐与部件动力学建模技术,克服了现有方法的局限性。
  • 在复杂多部件铰接物体的重建中,ArtGS展现了显著的性能提升,为未来的研究提供了坚实的基础。

热门论文

1比特LLM时代:所有大型语言模型均为1.58比特。
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

Shuming Ma, Hongyu Wang, Lingxiao Ma, Lei Wang, Wenhui Wang, Shaohan Huang, Li Dong, Ruiping Wang, Jilong Xue, Furu WeiFeb 27, 2024610142

Qwen2.5 技术报告
Qwen2.5 Technical Report

Qwen, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan QiuDec 19, 202435211

DeepSeek-R1:通过强化学习激励LLMs中的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

DeepSeek-AI, Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, Qihao Zhu, Shirong Ma, Peiyi Wang, Xiao Bi, Xiaokang Zhang, Xingkai Yu, Yu Wu, Z. F. Wu, Zhibin Gou, Zhihong Shao, Zhuoshu Li, Ziyi Gao, Aixin Liu, Bing Xue, Bingxuan Wang, Bochao Wu, Bei Feng, Chengda Lu, Chenggang Zhao, Chengqi Deng, Chenyu Zhang, Chong Ruan, Damai Dai, Deli Chen, Dongjie Ji, Erhang Li, Fangyun Lin, Fucong Dai, Fuli Luo, Guangbo Hao, Guanting Chen, Guowei Li, H. Zhang, Han Bao, Hanwei Xu, Haocheng Wang, Honghui Ding, Huajian Xin, Huazuo Gao, Hui Qu, Hui Li, Jianzhong Guo, Jiashi Li, Jiawei Wang, Jingchang Chen, Jingyang Yuan, Junjie Qiu, Junlong Li, J. L. Cai, Jiaqi Ni, Jian Liang, Jin Chen, Kai Dong, Kai Hu, Kaige Gao, Kang Guan, Kexin Huang, Kuai Yu, Lean Wang, Lecong Zhang, Liang Zhao, Litong Wang, Liyue Zhang, Lei Xu, Leyi Xia, Mingchuan Zhang, Minghua Zhang, Minghui Tang, Meng Li, Miaojun Wang, Mingming Li, Ning Tian, Panpan Huang, Peng Zhang, Qiancheng Wang, Qinyu Chen, Qiushi Du, Ruiqi Ge, Ruisong Zhang, Ruizhe Pan, Runji Wang, R. J. Chen, R. L. Jin, Ruyi Chen, Shanghao Lu, Shangyan Zhou, Shanhuang Chen, Shengfeng Ye, Shiyu Wang, Shuiping Yu, Shunfeng Zhou, Shuting Pan, S. S. Li, Shuang Zhou, Shaoqing Wu, Shengfeng Ye, Tao Yun, Tian Pei, Tianyu Sun, T. Wang, Wangding Zeng, Wanjia Zhao, Wen Liu, Wenfeng Liang, Wenjun Gao, Wenqin Yu, Wentao Zhang, W. L. Xiao, Wei An, Xiaodong Liu, Xiaohan Wang, Xiaokang Chen, Xiaotao Nie, Xin Cheng, Xin Liu, Xin Xie, Xingchao Liu, Xinyu Yang, Xinyuan Li, Xuecheng Su, Xuheng Lin, X. Q. Li, Xiangyue Jin, Xiaojin Shen, Xiaosha Chen, Xiaowen Sun, Xiaoxiang Wang, Xinnan Song, Xinyi Zhou, Xianzu Wang, Xinxia Shan, Y. K. Li, Y. Q. Wang, Y. X. Wei, Yang Zhang, Yanhong Xu, Yao Li, Yao Zhao, Yaofeng Sun, Yaohui Wang, Yi Yu, Yichao Zhang, Yifan Shi, Yiliang Xiong, Ying He, Yishi Piao, Yisong Wang, Yixuan Tan, Yiyang Ma, Yiyuan Liu, Yongqiang Guo, Yuan Ou, Yuduan Wang, Yue Gong, Yuheng Zou, Yujia He, Yunfan Xiong, Yuxiang Luo, Yuxiang You, Yuxuan Liu, Yuyang Zhou, Y. X. Zhu, Yanhong Xu, Yanping Huang, Yaohui Li, Yi Zheng, Yuchen Zhu, Yunxian Ma, Ying Tang, Yukun Zha, Yuting Yan, Z. Z. Ren, Zehui Ren, Zhangli Sha, Zhe Fu, Zhean Xu, Zhenda Xie, Zhengyan Zhang, Zhewen Hao, Zhicheng Ma, Zhigang Yan, Zhiyu Wu, Zihui Gu, Zijia Zhu, Zijun Liu, Zilin Li, Ziwei Xie, Ziyang Song, Zizheng Pan, Zhen Huang, Zhipeng Xu, Zhongyu Zhang, Zhen ZhangJan 22, 20253485

PDF102February 28, 2025