V2V-LLM: 다중 모드 대형 언어 모델을 활용한 차량 간 협력 자율 주행

V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multi-Modal Large Language Models

February 14, 2025

저자: Hsu-kuang Chiu, Ryo Hachiuma, Chien-Yi Wang, Stephen F. Smith, Yu-Chiang Frank Wang, Min-Hung Chen

cs.AI

초록

현재의 자율주행 차량은 주변 환경을 이해하고 미래 궤적을 계획하기 위해 주로 개별 센서에 의존하고 있으며, 이는 센서가 오작동하거나 가려질 경우 신뢰성이 떨어질 수 있습니다. 이 문제를 해결하기 위해 차량 간 통신(V2V)을 통한 협력적 인지 방법이 제안되었지만, 이는 주로 탐지 및 추적에 초점을 맞추는 경향이 있었습니다. 이러한 접근 방식이 전체 협력적 계획 성능에 어떻게 기여하는지는 아직 충분히 탐구되지 않았습니다. 최근 대형 언어 모델(LLM)을 사용하여 자율주행 시스템을 구축하는 데 있어서의 진전에 영감을 받아, 우리는 LLM을 협력적 자율주행에 통합하는 새로운 문제 설정을 제안하며, 이를 위해 차량 간 질의응답(V2V-QA) 데이터셋과 벤치마크를 제안합니다. 또한, 우리는 LLM을 사용하여 여러 연결된 자율주행 차량(CAV)의 인지 정보를 융합하고 운전 관련 질문에 답변하는 차량 간 대형 언어 모델(V2V-LLM)을 제안합니다: 근거 파악, 주목할 만한 객체 식별, 계획 수립 등이 포함됩니다. 실험 결과는 우리가 제안한 V2V-LLM이 협력적 자율주행에서 다양한 작업을 수행하기 위한 유망한 통합 모델 아키텍처가 될 수 있으며, 다른 융합 접근 방식을 사용하는 기존의 베이스라인 방법들을 능가함을 보여줍니다. 우리의 작업은 또한 미래 자율주행 시스템의 안전성을 향상시킬 수 있는 새로운 연구 방향을 제시합니다. 우리 프로젝트 웹사이트: https://eddyhkchiu.github.io/v2vllm.github.io/ .

English

Current autonomous driving vehicles rely mainly on their individual sensors to understand surrounding scenes and plan for future trajectories, which can be unreliable when the sensors are malfunctioning or occluded. To address this problem, cooperative perception methods via vehicle-to-vehicle (V2V) communication have been proposed, but they have tended to focus on detection and tracking. How those approaches contribute to overall cooperative planning performance is still under-explored. Inspired by recent progress using Large Language Models (LLMs) to build autonomous driving systems, we propose a novel problem setting that integrates an LLM into cooperative autonomous driving, with the proposed Vehicle-to-Vehicle Question-Answering (V2V-QA) dataset and benchmark. We also propose our baseline method Vehicle-to-Vehicle Large Language Model (V2V-LLM), which uses an LLM to fuse perception information from multiple connected autonomous vehicles (CAVs) and answer driving-related questions: grounding, notable object identification, and planning. Experimental results show that our proposed V2V-LLM can be a promising unified model architecture for performing various tasks in cooperative autonomous driving, and outperforms other baseline methods that use different fusion approaches. Our work also creates a new research direction that can improve the safety of future autonomous driving systems. Our project website: https://eddyhkchiu.github.io/v2vllm.github.io/ .