ADS-Edit: Un Dataset Multimodale per la Modifica della Conoscenza nei Sistemi di Guida Autonoma

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

Autori: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

Abstract

I recenti progressi nei Modelli Multimodali di Grande Scala (LMM) hanno mostrato promettenti applicazioni nei Sistemi di Guida Autonoma (ADS). Tuttavia, la loro applicazione diretta agli ADS è ostacolata da sfide come la comprensione errata delle conoscenze sul traffico, le condizioni stradali complesse e gli stati diversi dei veicoli. Per affrontare queste sfide, proponiamo l'uso della Modifica della Conoscenza, che consente modifiche mirate al comportamento di un modello senza la necessità di un addestramento completo. Nel frattempo, introduciamo ADS-Edit, un dataset di modifica della conoscenza multimodale specificamente progettato per gli ADS, che include vari scenari del mondo reale, molteplici tipi di dati e metriche di valutazione complete. Abbiamo condotto esperimenti approfonditi e derivato diverse conclusioni interessanti. Speriamo che il nostro lavoro contribuisca all'ulteriore avanzamento delle applicazioni di modifica della conoscenza nel campo della guida autonoma. Codice e dati sono disponibili su https://github.com/zjunlp/EasyEdit.

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.