NeuGrasp: Generalisierbare neuronale Oberflächenrekonstruktion mit Hintergrundpriors für materialagnostische Objektgreiferkennung

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

Autoren: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

Zusammenfassung

Das robotergestützte Greifen in Szenen mit transparenten und spiegelnden Objekten stellt große Herausforderungen für Methoden dar, die auf präzisen Tiefeninformationen basieren. In diesem Artikel stellen wir NeuGrasp vor, eine neuronale Oberflächenrekonstruktionsmethode, die Hintergrund-Priors für materialunabhängige Greiferkennung nutzt. NeuGrasp integriert Transformer und globale Prior-Volumina, um Multi-View-Features mit räumlicher Kodierung zu aggregieren, was eine robuste Oberflächenrekonstruktion unter engen und spärlichen Blickbedingungen ermöglicht. Durch die Konzentration auf Vordergrundobjekte mittels Rest-Feature-Verstärkung und die Verfeinerung der räumlichen Wahrnehmung mit einem Belegungs-Prior-Volumen zeichnet sich NeuGrasp bei der Handhabung von Objekten mit transparenten und spiegelnden Oberflächen aus. Umfangreiche Experimente in simulierten und realen Szenarien zeigen, dass NeuGrasp state-of-the-art Methoden beim Greifen übertrifft, während es eine vergleichbare Rekonstruktionsqualität beibehält. Weitere Details sind unter https://neugrasp.github.io/ verfügbar.

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.