HUGSIM: 자율 주행을 위한 실시간, 사실적인 이미지 및 폐쇄 루프 시뮬레이터

HUGSIM: A Real-Time, Photo-Realistic and Closed-Loop Simulator for Autonomous Driving

December 2, 2024

저자: Hongyu Zhou, Longzhong Lin, Jiabao Wang, Yichong Lu, Dongfeng Bai, Bingbing Liu, Yue Wang, Andreas Geiger, Yiyi Liao

cs.AI

초록

지난 수십 년 동안 자율 주행 알고리즘은 인식, 계획 및 제어 분야에서 상당한 진전을 이루었습니다. 그러나 개별 구성 요소를 평가하는 것만으로는 전체 시스템의 성능을 완전히 반영할 수 없으며, 이는 보다 종합적인 평가 방법의 필요성을 강조하고 있습니다. 이는 자율 주행 알고리즘을 평가하기 위한 폐쇄 루프, 사실적이며 실시간 시뮬레이터인 HUGSIM의 개발을 촉발시킵니다. 이를 위해 2D RGB 이미지를 3D 공간으로 끌어올려 3D 가우시안 스플래팅을 통해 시뮬레이터의 렌더링 품질을 향상시키고 폐쇄 루프 환경을 구축합니다. 렌더링 측면에서는 폐쇄 루프 시나리오에서의 새로운 뷰 합성과 관련된 도전을 다루며, 시점 외삽과 360도 차량 렌더링을 포함합니다. 새로운 뷰 합성 이상으로, HUGSIM은 제어 명령에 기반하여 자아 및 배우자 상태 및 관측을 동적으로 업데이트하여 전체 폐쇄 시뮬레이션 루프를 가능하게 합니다. 더불어 HUGSIM은 KITTI-360, Waymo, nuScenes 및 PandaSet에서 70개 이상의 시퀀스 및 400가지 이상의 다양한 시나리오에 걸쳐 포괄적인 벤치마크를 제공하여 기존 자율 주행 알고리즘을 위한 공정하고 현실적인 평가 플랫폼을 제공합니다. HUGSIM은 직관적인 평가 벤치마크로서뿐만 아니라 사실적인 폐쇄 루프 환경에서 자율 주행 알고리즘을 세밀하게 조정할 수 있는 잠재력을 발휘합니다.

English

In the past few decades, autonomous driving algorithms have made significant progress in perception, planning, and control. However, evaluating individual components does not fully reflect the performance of entire systems, highlighting the need for more holistic assessment methods. This motivates the development of HUGSIM, a closed-loop, photo-realistic, and real-time simulator for evaluating autonomous driving algorithms. We achieve this by lifting captured 2D RGB images into the 3D space via 3D Gaussian Splatting, improving the rendering quality for closed-loop scenarios, and building the closed-loop environment. In terms of rendering, We tackle challenges of novel view synthesis in closed-loop scenarios, including viewpoint extrapolation and 360-degree vehicle rendering. Beyond novel view synthesis, HUGSIM further enables the full closed simulation loop, dynamically updating the ego and actor states and observations based on control commands. Moreover, HUGSIM offers a comprehensive benchmark across more than 70 sequences from KITTI-360, Waymo, nuScenes, and PandaSet, along with over 400 varying scenarios, providing a fair and realistic evaluation platform for existing autonomous driving algorithms. HUGSIM not only serves as an intuitive evaluation benchmark but also unlocks the potential for fine-tuning autonomous driving algorithms in a photorealistic closed-loop setting.