Champs neuronaux en robotique : Une enquête

Neural Fields in Robotics: A Survey

October 26, 2024

Auteurs: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

Résumé

Les champs neuronaux ont émergé comme une approche transformative pour la représentation de scènes 3D en vision par ordinateur et en robotique, permettant une inférence précise de la géométrie, des sémantiques 3D et de la dynamique à partir de données 2D posées. En exploitant le rendu différentiable, les champs neuronaux englobent à la fois des représentations neuronales implicites et explicites continues permettant une reconstruction 3D haute fidélité, l'intégration de données de capteurs multimodaux et la génération de nouveaux points de vue. Cette étude explore leurs applications en robotique, en mettant l'accent sur leur potentiel pour améliorer la perception, la planification et le contrôle. Leur compacité, leur efficacité mémoire et leur différentiabilité, ainsi que leur intégration transparente avec des modèles fondamentaux et génératifs, les rendent idéaux pour des applications en temps réel, améliorant l'adaptabilité et la prise de décision des robots. Cet article propose une revue approfondie des champs neuronaux en robotique, en catégorisant les applications dans divers domaines et en évaluant leurs forces et limitations, sur la base de plus de 200 articles. Tout d'abord, nous présentons quatre cadres clés de champs neuronaux : Réseaux d'Occupation, Champs de Distance Signée, Champs de Radiance Neuronale et Étalement Gaussien. Ensuite, nous détaillons les applications des champs neuronaux dans cinq domaines majeurs de la robotique : estimation de pose, manipulation, navigation, physique et conduite autonome, mettant en évidence des travaux clés et discutant des enseignements et des défis ouverts. Enfin, nous soulignons les limitations actuelles des champs neuronaux en robotique et proposons des orientations prometteuses pour la recherche future. Page du projet : https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io