G^3: Geolocation via Guidebook Grounding

要約

言語がどのように地理位置情報を改善できるかを示します。これは、画像が撮影された場所を予測するタスクです。
ここでは、人間が地理位置情報に使用する際立った階級差別的な視覚的特徴を説明する、人間が作成したガイドブックからの明示的な知識を研究します。
さまざまな場所のストリートビュー画像のデータセットと、人気のあるインタラクティブなジオロケーション ゲームである GeoGuessr のテキスト ガイドブックを使用するガイドブック グラウンディングによるジオロケーションのタスクを提案します。
私たちのアプローチは、ガイドブックから自動的に抽出された手がかりに注目することで、各画像の国を予測します。
国レベルの疑似ラベルを使用して注意を監視すると、最高のパフォーマンスが得られます。
私たちのアプローチは、最先端の画像のみのジオロケーション方法よりも大幅に優れており、トップ 1 の精度が 5% 以上向上しています。
私たちのデータセットとコードは、https://github.com/g-luo/geolocation_via_guidebook_grounding にあります。

要約(オリジナル)

We demonstrate how language can improve geolocation: the task of predicting the location where an image was taken. Here we study explicit knowledge from human-written guidebooks that describe the salient and class-discriminative visual features humans use for geolocation. We propose the task of Geolocation via Guidebook Grounding that uses a dataset of StreetView images from a diverse set of locations and an associated textual guidebook for GeoGuessr, a popular interactive geolocation game. Our approach predicts a country for each image by attending over the clues automatically extracted from the guidebook. Supervising attention with country-level pseudo labels achieves the best performance. Our approach substantially outperforms a state-of-the-art image-only geolocation method, with an improvement of over 5% in Top-1 accuracy. Our dataset and code can be found at https://github.com/g-luo/geolocation_via_guidebook_grounding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google