MapQaTor: Un sistema per l'annotazione efficiente di set di dati di query di mappe

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

Autori: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Abstract

Servizi di mappatura e navigazione come Google Maps, Apple Maps, Openstreet Maps, sono essenziali per accedere a vari dati basati sulla posizione, ma spesso faticano a gestire le query geospaziali in linguaggio naturale. Gli avanzamenti recenti nei Grandi Modelli Linguistici (LLM) mostrano promesse nel question answering (QA), ma la creazione di set di dati affidabili per il QA geospaziale dai servizi di mappe rimane una sfida. Presentiamo MapQaTor, un'applicazione web che semplifica la creazione di set di dati riproducibili e tracciabili per il QA basato su mappe. Con la sua architettura plug-and-play, MapQaTor consente un'integrazione senza soluzione di continuità con qualsiasi API di mappe, consentendo agli utenti di raccogliere e visualizzare dati da diverse fonti con una configurazione minima. Mediante la memorizzazione nella cache delle risposte dell'API, la piattaforma garantisce una verità di riferimento coerente, migliorando la affidabilità dei dati anche mentre le informazioni reali evolvono. MapQaTor centralizza il recupero dei dati, l'annotazione e la visualizzazione all'interno di una piattaforma unica, offrendo un'opportunità unica per valutare lo stato attuale del ragionamento geospaziale basato su LLM mentre si migliorano le loro capacità per una comprensione geospaziale migliorata. Le metriche di valutazione mostrano che MapQaTor accelera il processo di annotazione di almeno 30 volte rispetto ai metodi manuali, sottolineando il suo potenziale per lo sviluppo di risorse geospaziali, come set di dati di ragionamento cartografico complessi. Il sito web è attivo su: https://mapqator.github.io/ e un video dimostrativo è disponibile su: https://youtu.be/7_aV9Wmhs6Q.

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.