Campi Neurali in Robotica: Un'Indagine

Neural Fields in Robotics: A Survey

October 26, 2024

Autori: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

Abstract

I campi neurali sono emersi come un approccio trasformativo per la rappresentazione di scene 3D nella visione artificiale e nella robotica, consentendo un'accurata inferenza della geometria, della semantica 3D e della dinamica dai dati 2D acquisiti. Sfruttando il rendering differenziabile, i campi neurali comprendono rappresentazioni neurali implicite ed esplicite continue che consentono una ricostruzione 3D ad alta fedeltà, l'integrazione di dati sensoriali multi-modali e la generazione di nuovi punti di vista. Questa panoramica esplora le loro applicazioni nella robotica, sottolineando il loro potenziale nel migliorare la percezione, la pianificazione e il controllo. La loro compattezza, efficienza di memoria e differenziabilità, insieme all'integrazione senza soluzione di continuità con modelli fondamentali e generativi, li rendono ideali per applicazioni in tempo reale, migliorando l'adattabilità e la presa di decisioni del robot. Questo articolo fornisce una revisione approfondita dei campi neurali nella robotica, categorizzando le applicazioni in vari ambiti e valutandone punti di forza e limitazioni, basandosi su oltre 200 articoli. In primo luogo, presentiamo quattro principali framework di campi neurali: Reti di Occupazione, Campi di Distanza Segnata, Campi di Radiazione Neurale e Splatting Gaussiano. In secondo luogo, dettagliamo le applicazioni dei campi neurali in cinque principali ambiti della robotica: stima della posa, manipolazione, navigazione, fisica e guida autonoma, evidenziando lavori chiave e discutendo punti salienti e sfide aperte. Infine, delineiamo le attuali limitazioni dei campi neurali nella robotica e proponiamo direzioni promettenti per la ricerca futura. Pagina del progetto: https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io