CoLMDriver: LLM-basierte Verhandlungen fördern kooperatives autonomes Fahren

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

Autoren: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

Zusammenfassung

Fahrzeug-zu-Fahrzeug (V2V) kooperatives autonomes Fahren birgt großes Potenzial, die Sicherheit zu verbessern, indem es die Wahrnehmungs- und Vorhersageunsicherheiten adressiert, die in Einzelagentensystemen inhärent sind. Traditionelle kooperative Methoden sind jedoch durch starre Zusammenarbeitsprotokolle und begrenzte Generalisierungsfähigkeit auf unbekannte interaktive Szenarien eingeschränkt. Während LLM-basierte Ansätze generalisierte Fähigkeiten zur Schlussfolgerung bieten, behindern ihre Herausforderungen in der räumlichen Planung und die instabile Inferenzlatenz ihre direkte Anwendung im kooperativen Fahren. Um diese Einschränkungen zu überwinden, schlagen wir CoLMDriver vor, das erste vollständige LLM-basierte kooperative Fahrersystem, das eine effektive sprachbasierte Verhandlung und Echtzeit-Fahrkontrolle ermöglicht. CoLMDriver verfügt über eine parallele Fahrpipeline mit zwei Schlüsselkomponenten: (i) ein LLM-basiertes Verhandlungsmodul unter einem Actor-Critic-Paradigma, das kontinuierlich Kooperationsrichtlinien durch Feedback aus früheren Entscheidungen aller Fahrzeuge verfeinert; und (ii) ein intentionsgesteuerter Wegpunktgenerator, der Verhandlungsergebnisse in ausführbare Wegpunkte übersetzt. Zusätzlich stellen wir InterDrive vor, einen CARLA-basierten Simulationsbenchmark, der 10 herausfordernde interaktive Fahrszenarien zur Bewertung der V2V-Kooperation umfasst. Experimentelle Ergebnisse zeigen, dass CoLMDriver bestehende Ansätze deutlich übertrifft und eine um 11 % höhere Erfolgsrate in verschiedenen hochinteraktiven V2V-Fahrszenarien erreicht. Der Code wird auf https://github.com/cxliu0314/CoLMDriver veröffentlicht.

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.