MapQaTor: Um Sistema para Anotação Eficiente de Conjuntos de Dados de Consulta de Mapa

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

Autores: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Resumo

Serviços de mapeamento e navegação como Google Maps, Apple Maps, OpenStreet Maps, são essenciais para acessar vários dados baseados em localização, no entanto, frequentemente enfrentam dificuldades ao lidar com consultas geoespaciais em linguagem natural. Avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) mostram promessa em perguntas e respostas (QA), mas a criação de conjuntos de dados confiáveis de QA geoespacial a partir de serviços de mapas ainda é desafiadora. Apresentamos o MapQaTor, uma aplicação web que simplifica a criação de conjuntos de dados de QA baseados em mapas, reproduzíveis e rastreáveis. Com sua arquitetura plug-and-play, o MapQaTor permite integração perfeita com qualquer API de mapas, permitindo aos usuários coletar e visualizar dados de diversas fontes com configuração mínima. Ao armazenar em cache as respostas da API, a plataforma garante uma verdade confiável, aprimorando a confiabilidade dos dados mesmo à medida que as informações do mundo real evoluem. O MapQaTor centraliza a recuperação, anotação e visualização de dados dentro de uma única plataforma, oferecendo uma oportunidade única para avaliar o estado atual do raciocínio geoespacial baseado em LLM, enquanto avança suas capacidades para melhorar a compreensão geoespacial. Métricas de avaliação mostram que o MapQaTor acelera o processo de anotação em pelo menos 30 vezes em comparação com métodos manuais, destacando seu potencial para desenvolver recursos geoespaciais, como conjuntos de dados de raciocínio de mapas complexos. O site está disponível em: https://mapqator.github.io/ e um vídeo de demonstração está disponível em: https://youtu.be/7_aV9Wmhs6Q.

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.