확산 모델을 정제하여 효율적인 3D LiDAR 장면 완성

Distilling Diffusion Models to Efficient 3D LiDAR Scene Completion

December 4, 2024

저자: Shengyuan Zhang, An Zhao, Ling Yang, Zejian Li, Chenye Meng, Haoran Xu, Tianrun Chen, AnYang Wei, Perry Pengyun GU, Lingyun Sun

cs.AI

초록

확산 모델은 강력한 훈련 안정성과 높은 완성 품질로 3D LiDAR 장면 완성에 적용되었습니다. 그러나 자율 주행 차량이 주변 환경을 효율적으로 인식해야 하는 실용적인 적용을 제한하는 느린 샘플링 속도가 있습니다. 본 논문에서는 3D LiDAR 장면 완성 모델에 맞춤화된 새로운 증류 방법인 ScoreLiDAR을 제안합니다. ScoreLiDAR은 효율적이면서도 고품질의 장면 완성을 달성합니다. ScoreLiDAR은 증류 후 적은 단계에서 샘플링할 수 있도록 합니다. 완성 품질을 향상시키기 위해 우리는 새로운 구조 손실을 소개합니다. 이 손실은 3D LiDAR 장면의 기하 구조를 캡처하도록 증류된 모델을 장려하는데, 전체적인 구조를 제약하는 장면별 용어와 주요 랜드마크 포인트와 그들의 상대적인 구성을 제약하는 포인트별 용어가 포함되어 있습니다. 광범위한 실험 결과는 ScoreLiDAR이 SemanticKITTI에서 프레임당 완성 시간을 30.55에서 5.37초로(5배 이상) 현저히 가속화하고 최첨단 3D LiDAR 장면 완성 모델과 비교하여 우수한 성능을 달성한다는 것을 입증합니다. 우리의 코드는 https://github.com/happyw1nd/ScoreLiDAR에서 공개적으로 이용할 수 있습니다.

English

Diffusion models have been applied to 3D LiDAR scene completion due to their strong training stability and high completion quality. However, the slow sampling speed limits the practical application of diffusion-based scene completion models since autonomous vehicles require an efficient perception of surrounding environments. This paper proposes a novel distillation method tailored for 3D LiDAR scene completion models, dubbed ScoreLiDAR, which achieves efficient yet high-quality scene completion. ScoreLiDAR enables the distilled model to sample in significantly fewer steps after distillation. To improve completion quality, we also introduce a novel Structural Loss, which encourages the distilled model to capture the geometric structure of the 3D LiDAR scene. The loss contains a scene-wise term constraining the holistic structure and a point-wise term constraining the key landmark points and their relative configuration. Extensive experiments demonstrate that ScoreLiDAR significantly accelerates the completion time from 30.55 to 5.37 seconds per frame (>5times) on SemanticKITTI and achieves superior performance compared to state-of-the-art 3D LiDAR scene completion models. Our code is publicly available at https://github.com/happyw1nd/ScoreLiDAR.