MapQaTor: マップクエリデータセットの効率的なアノテーションシステム

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

著者: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

要旨

Google マップ、Apple マップ、OpenStreet マップなどのマッピングおよびナビゲーションサービスは、さまざまな位置情報データにアクセスするために不可欠ですが、自然言語の地理空間クエリを処理するのに苦劦することがよくあります。最近の大規模言語モデル（LLM）の進歩は、質問応答（QA）において希望を示していますが、地図サービスから信頼性の高い地理空間QAデータセットを作成することは依然として難しいです。私たちは、MapQaTorというWebアプリケーションを紹介します。これは再現可能で追跡可能な地図ベースのQAデータセットの作成を効率化します。プラグアンドプレイのアーキテクチャにより、MapQaTorはどんな地図APIともシームレスに統合でき、ユーザーは最小限のセットアップでさまざまなソースからデータを収集し、可視化できます。APIのレスポンスをキャッシュすることで、プラットフォームは一貫したグラウンドトゥルースを確保し、現実世界の情報が進化してもデータの信頼性を向上させます。MapQaTorはデータの取得、注釈付け、可視化を1つのプラットフォーム内で集約し、LLMに基づく地理空間推論の現状を評価する独自の機会を提供しつつ、その機能を向上させることで地理空間理解を向上させます。評価メトリクスによると、MapQaTorは手動方法と比較して少なくとも30倍の速さで注釈付けプロセスを加速させることが示され、複雑な地図推論データセットなどの地理空間リソースの開発における潜在能力を強調しています。ウェブサイトはこちらでご覧いただけます：https://mapqator.github.io/、デモ動画はこちらでご覧いただけます：https://youtu.be/7_aV9Wmhs6Q。

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.