Text-to-OverpassQL: A Natural Language Interface for Complex Geodata Querying of OpenStreetMap

要約

OpenStreetMap (OSM) から地理データをクエリするための自然言語インターフェイスを容易にするために設計されたタスクである Text-to-OverpassQL を紹介します。
Overpass Query Language (OverpassQL) を使用すると、ユーザーは複雑なデータベース クエリを作成でき、OSM エコシステムで広く採用されています。
自然言語入力からのオーバーパス クエリの生成は、複数のユースケースに対応します。
これにより、初心者ユーザーが事前知識なしで OverpassQL を利用できるようになり、経験豊富なユーザーが高度なクエリを作成できるようになり、ツールで拡張された大規模な言語モデルが OSM データベースに保存されている情報にアクセスできるようになります。
このタスクにおける現在のシーケンス生成モデルのパフォーマンスを評価するために、対応する自然言語入力を含む 8,352 クエリのデータセットである OverpassNL を提案します。
さらに、タスク固有の評価メトリクスを導入し、OSM データベースに対してクエリを実行することで Text-to-OverpassQL タスクの評価を基礎にします。
シーケンスごとのモデルを微調整し、大規模な言語モデルをコンテキスト内の例に適合させることで、強力なベースラインを確立します。
詳細な評価により、検討された学習戦略の長所と短所が明らかになり、Text-to-OverpassQL タスクのさらなる研究の基礎が築かれます。

要約(オリジナル)

We present Text-to-OverpassQL, a task designed to facilitate a natural language interface for querying geodata from OpenStreetMap (OSM). The Overpass Query Language (OverpassQL) allows users to formulate complex database queries and is widely adopted in the OSM ecosystem. Generating Overpass queries from natural language input serves multiple use-cases. It enables novice users to utilize OverpassQL without prior knowledge, assists experienced users with crafting advanced queries, and enables tool-augmented large language models to access information stored in the OSM database. In order to assess the performance of current sequence generation models on this task, we propose OverpassNL, a dataset of 8,352 queries with corresponding natural language inputs. We further introduce task specific evaluation metrics and ground the evaluation of the Text-to-OverpassQL task by executing the queries against the OSM database. We establish strong baselines by finetuning sequence-to-sequence models and adapting large language models with in-context examples. The detailed evaluation reveals strengths and weaknesses of the considered learning strategies, laying the foundations for further research into the Text-to-OverpassQL task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google