MapQaTor: 지도 쿼리 데이터셋을 효율적으로 주석 달 수 있는 시스템

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

저자: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

초록

Google Maps, Apple Maps, OpenStreet Maps와 같은 매핑 및 내비게이션 서비스는 다양한 위치 기반 데이터에 액세스하는 데 중요하지만 종종 자연어 지리 공간 쿼리를 처리하는 데 어려움을 겪습니다. 최근 대형 언어 모델(LLMs)의 발전은 질문 응답(QA)에서 약속을 보여주지만 맵 서비스에서 신뢰할 수 있는 지리 QA 데이터셋을 만드는 것은 여전히 어려움이 남아 있습니다. 우리는 MapQaTor를 소개합니다. 이는 재현 가능하고 추적 가능한 맵 기반 QA 데이터셋의 생성을 간소화하는 웹 애플리케이션입니다. 플러그 앤 플레이 아키텍처를 통해 MapQaTor는 모든 맵 API와의 원활한 통합을 가능하게 하여 사용자가 최소한의 설정으로 다양한 소스에서 데이터를 수집하고 시각화할 수 있습니다. API 응답을 캐싱함으로써 플랫폼은 실제 정보가 변화하더라도 일관된 실제 상태를 보장하여 데이터의 신뢰성을 향상시킵니다. MapQaTor는 데이터 검색, 주석 달기 및 시각화를 단일 플랫폼 내에서 중앙화하여 현재 LLM 기반 지리적 추론의 상태를 평가하고 지리 이해력을 향상시키는 기회를 제공합니다. 평가 메트릭은 MapQaTor가 수동 방법과 비교했을 때 최소 30배의 속도로 주석 작업을 가속화한다는 것을 보여주며, 복잡한 맵 추론 데이터셋과 같은 지리 자원 개발의 잠재력을 강조합니다. 웹사이트는 다음 주소에서 운영 중입니다: https://mapqator.github.io/ 그리고 데모 비디오는 다음 주소에서 확인할 수 있습니다: https://youtu.be/7_aV9Wmhs6Q.

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.