MapQaTor: A System for Efficient Annotation of Map Query Datasets

要約

Google マップ、Apple マップ、オープンストリート マップなどのマッピング サービスやナビゲーション サービスは、さまざまな位置ベースのデータにアクセスするために不可欠ですが、自然言語による地理空間クエリの処理に苦労することがよくあります。
大規模言語モデル (LLM) の最近の進歩は、質問応答 (QA) において有望であることを示していますが、マップ サービスから信頼性の高い地理空間 QA データセットを作成することは依然として困難です。
再現可能で追跡可能な地図ベースの QA データセットの作成を合理化する Web アプリケーションである MapQaTor を紹介します。
MapQaTor は、プラグ アンド プレイ アーキテクチャにより、あらゆる地図 API とのシームレスな統合を可能にし、ユーザーは最小限のセットアップでさまざまなソースからデータを収集して視覚化できます。
API 応答をキャッシュすることで、プラットフォームは一貫したグラウンド トゥルースを保証し、現実世界の情報が進化してもデータの信頼性を高めます。
MapQaTor は、単一プラットフォーム内でデータの取得、注釈付け、視覚化を一元化し、LLM ベースの地理空間推論の現状を評価すると同時に、地理空間の理解を向上させる機能を向上させるユニークな機会を提供します。
評価指標によると、MapQaTor は手動の方法と比較してアノテーション プロセスを少なくとも 30 倍高速化し、複雑な地図推論データセットなどの地理空間リソースの開発における可能性を強調しています。
Web サイトは https://mapqator.github.io/ で公開されており、デモ ビデオは https://youtu.be/7_aV9Wmhs6Q で利用できます。

要約(オリジナル)

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google