로봇 공학에서의 신경장(Field): 조사

Neural Fields in Robotics: A Survey

October 26, 2024

저자: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

초록

신경장(Field)은 컴퓨터 비전과 로봇학에서 3D 장면 표현을 변혁적으로 다루는 방법으로 부상했으며, 2D 데이터로부터의 정확한 기하학, 3D 의미론, 그리고 동역학 추론을 가능하게 합니다. 미분 가능 렌더링을 활용하여, 신경장은 연속적인 암시적 및 명시적 신경 표현을 포괄하여 고품질의 3D 재구성, 다중 모달 센서 데이터 통합, 그리고 새로운 시각점 생성을 가능하게 합니다. 본 설문은 로봇학에서의 신경장의 응용을 탐구하며, 지각, 계획 및 제어를 향상시킬 수 있는 잠재력을 강조합니다. 그들의 간결함, 메모리 효율성, 그리고 미분 가능성은 기초 및 생성 모델과의 원활한 통합과 함께, 실시간 응용에 이상적으로 적합하여 로봇의 적응성과 의사 결정을 향상시킵니다. 본 논문은 로봇학에서의 신경장을 철저히 검토하며, 200편 이상의 논문을 기반으로 다양한 영역에서의 응용을 분류하고 강점과 한계를 평가합니다. 먼저, 우리는 네 가지 주요 신경장 프레임워크를 제시합니다: 점유 네트워크, 부호화된 거리장, 신경 방사장, 그리고 가우시안 스플래팅. 둘째로, 우리는 로봇학의 다섯 가지 주요 영역에서의 신경장 응용을 상세히 설명합니다: 자세 추정, 조작, 내비게이션, 물리학, 그리고 자율 주행을 강조하며 주요 작품을 소개하고 결론과 오픈 챌린지를 논의합니다. 마지막으로, 우리는 로봇학에서의 신경장의 현재 한계를 개요하고 미래 연구를 위한 유망한 방향을 제안합니다. 프로젝트 페이지: https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io