Is ChatGPT a game changer for geocoding — a benchmark for geocoding address parsing techniques

要約

地名認識を含むさまざまなタスクにわたって GPT モデルが目覚ましい成功を収めたことにより、ジオコーディング住所解析タスクにおける GPT-3 モデルのパフォーマンスを評価するようになりました。
評価がさまざまなユーザー入力品質を持つ現実世界のシナリオのパフォーマンスをより正確に反映することを保証し、ジオコーディング システムの「ゴールド スタンダード」評価データセットに対する差し迫ったニーズを解決するために、以下に基づいて合成された低品質の住所記述のベンチマーク データセットを導入します。
本番環境のジオコーディング システムの実際の入力ログから人間の入力パターンをマイニングします。
このデータセットには 21 の異なる入力エラーとバリエーションがあります。
米国 50 州すべてと DC の道路から独自に選択された 239,000 を超える住所レコードが含まれています。
トレーニング、検証、テスト セットとして使用される 3 つのサブセットで構成されます。
これに基づいて、アドレス コンポーネントの抽出における GPT-3 モデルのパフォーマンスをトレーニングおよび測定し、そのパフォーマンスをトランスベースおよび LSTM ベースのモデルと比較します。
評価結果は、双方向 LSTM-CRF モデルがこれらのトランスベースのモデルや GPT-3 モデルよりも最高のパフォーマンスを達成していることを示しています。
トランスベースのモデルは、双方向 LSTM-CRF モデルと比較して非常に同等の結果を示します。
GPT-3 モデルは、パフォーマンスでは劣るものの、数ショットの例でアドレス解析タスクの可能性を示し、追加の微調整による改善の余地を示しています。
この提示されたベンチマークのコードとデータはオープンソースであり、研究者が将来のモデル開発に利用したり、ドキュメント ジオコーディングなどの同様のタスクを評価するために拡張したりできるようにします。

要約(オリジナル)

The remarkable success of GPT models across various tasks, including toponymy recognition motivates us to assess the performance of the GPT-3 model in the geocoding address parsing task. To ensure that the evaluation more accurately mirrors performance in real-world scenarios with diverse user input qualities and resolve the pressing need for a ‘gold standard’ evaluation dataset for geocoding systems, we introduce a benchmark dataset of low-quality address descriptions synthesized based on human input patterns mining from actual input logs of a geocoding system in production. This dataset has 21 different input errors and variations; contains over 239,000 address records that are uniquely selected from streets across all U.S. 50 states and D.C.; and consists of three subsets to be used as training, validation, and testing sets. Building on this, we train and gauge the performance of the GPT-3 model in extracting address components, contrasting its performance with transformer-based and LSTM-based models. The evaluation results indicate that Bidirectional LSTM-CRF model has achieved the best performance over these transformer-based models and GPT-3 model. Transformer-based models demonstrate very comparable results compared to the Bidirectional LSTM-CRF model. The GPT-3 model, though trailing in performance, showcases potential in the address parsing task with few-shot examples, exhibiting room for improvement with additional fine-tuning. We open source the code and data of this presented benchmark so that researchers can utilize it for future model development or extend it to evaluate similar tasks, such as document geocoding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google