Neurale Velden in Robotica: Een Overzicht

Neural Fields in Robotics: A Survey

October 26, 2024

Auteurs: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

Samenvatting

Neurale Velden zijn naar voren gekomen als een transformerende benadering voor 3D-scene representatie in computer vision en robotica, waardoor nauwkeurige inferentie van geometrie, 3D-semantiek en dynamiek mogelijk is vanuit geposeerde 2D-gegevens. Door differentieerbare rendering te benutten, omvatten Neurale Velden zowel continue impliciete als expliciete neurale representaties die een hoogwaardige 3D-reconstructie mogelijk maken, integratie van multimodale sensorgegevens en generatie van nieuwe gezichtspunten. Deze survey verkent hun toepassingen in robotica, waarbij de nadruk ligt op hun potentieel om perceptie, planning en controle te verbeteren. Hun compactheid, geheugenefficiëntie en differentieerbaarheid, samen met naadloze integratie met fundamentele en generatieve modellen, maken ze ideaal voor real-time toepassingen, waardoor de aanpasbaarheid en besluitvorming van robots verbeteren. Dit artikel biedt een grondige bespreking van Neurale Velden in robotica, waarbij toepassingen over verschillende domeinen worden gecategoriseerd en hun sterke punten en beperkingen worden geëvalueerd, gebaseerd op meer dan 200 papers. Eerst presenteren we vier belangrijke Neurale Velden frameworks: Occupancy Networks, Signed Distance Fields, Neurale Radiance Fields en Gaussian Splatting. Vervolgens gaan we in op de toepassingen van Neurale Velden in vijf belangrijke robotica domeinen: pose schatting, manipulatie, navigatie, fysica en autonoom rijden, waarbij belangrijke werken worden belicht en discussies worden gevoerd over leerpunten en open uitdagingen. Tot slot schetsen we de huidige beperkingen van Neurale Velden in robotica en stellen we veelbelovende richtingen voor toekomstig onderzoek voor. Projectpagina: https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io