ADS-Edit: Ein multimodaler Datensatz zur Wissensaktualisierung für autonome Fahrzeugsysteme

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

Autoren: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen multimodalen Modellen (Large Multimodal Models, LMMs) haben vielversprechende Anwendungen in autonomen Fahrzeugsystemen (Autonomous Driving Systems, ADS) gezeigt. Ihre direkte Anwendung auf ADS wird jedoch durch Herausforderungen wie das Missverständnis von Verkehrswissen, komplexe Straßenverhältnisse und unterschiedliche Fahrzeugzustände behindert. Um diese Herausforderungen zu bewältigen, schlagen wir den Einsatz von Wissensbearbeitung (Knowledge Editing) vor, die gezielte Modifikationen am Verhalten eines Modells ermöglicht, ohne dass eine vollständige Neuausbildung erforderlich ist. Gleichzeitig stellen wir ADS-Edit vor, einen multimodalen Wissensbearbeitungsdatensatz, der speziell für ADS entwickelt wurde und verschiedene reale Szenarien, multiple Datentypen sowie umfassende Bewertungsmetriken umfasst. Wir führen umfangreiche Experimente durch und leiten mehrere interessante Schlussfolgerungen ab. Wir hoffen, dass unsere Arbeit zur weiteren Weiterentwicklung von Wissensbearbeitungsanwendungen im Bereich des autonomen Fahrens beitragen wird. Code und Daten sind unter https://github.com/zjunlp/EasyEdit verfügbar.

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.