Neuronale Felder in der Robotik: Eine Übersicht

Neural Fields in Robotics: A Survey

October 26, 2024

Autoren: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

Zusammenfassung

Neuronale Felder haben sich als ein transformativer Ansatz für die 3D-Szenendarstellung in der Computer Vision und Robotik herausgebildet, der eine präzise Inferenz von Geometrie, 3D-Semantik und Dynamik aus 2D-Daten ermöglicht. Durch die Nutzung der differentiellen Darstellung umfassen Neuronale Felder sowohl kontinuierliche implizite als auch explizite neuronale Repräsentationen, die eine hochwertige 3D-Rekonstruktion, die Integration von multimodalen Sensordaten und die Generierung neuer Ansichten ermöglichen. Diese Übersicht erforscht ihre Anwendungen in der Robotik und betont ihr Potenzial zur Verbesserung von Wahrnehmung, Planung und Steuerung. Ihre Kompaktheit, Speichereffizienz und Differentiierbarkeit sowie ihre nahtlose Integration mit Grundlagen- und Generativmodellen machen sie ideal für Echtzeitanwendungen, die die Anpassungsfähigkeit und Entscheidungsfindung von Robotern verbessern. Dieser Artikel bietet eine gründliche Untersuchung von Neuronalen Feldern in der Robotik, kategorisiert Anwendungen in verschiedenen Bereichen und bewertet ihre Stärken und Grenzen auf der Grundlage von über 200 Artikeln. Zunächst präsentieren wir vier wichtige Neuronale Felder-Frameworks: Besetzungsnetze, Vorzeichenabstandsnetze, Neuronale Strahlungsfelder und Gaußsches Splatting. Zweitens erläutern wir die Anwendungen von Neuronalen Feldern in fünf wichtigen Robotikbereichen: Pose-Schätzung, Manipulation, Navigation, Physik und autonomes Fahren, wobei Schlüsselarbeiten hervorgehoben und Erkenntnisse sowie offene Herausforderungen diskutiert werden. Abschließend skizzieren wir die aktuellen Einschränkungen von Neuronalen Feldern in der Robotik und schlagen vielversprechende Forschungsrichtungen für die Zukunft vor. Projektseite: https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io