GAEA: A Geolocation Aware Conversational Model

要約

画像ジオローカリゼーションは、従来、AIモデルが画像の正確なGPS座標を予測することは、多くのダウンストリームアプリケーションを備えた挑戦的なタスクです。
ただし、ユーザーはGPS座標以外の知識を促進するためにモデルを利用することはできません。
このモデルには、場所とユーザーと通信する会話能力の理解がありません。
最近では、大規模なマルチモーダルモデル（LMMS）独自およびオープンソースの研究者の大きな進歩により、LMMを介して画像をジオローカライズしようとしました。
ただし、問題は報告されていません。
一般的なタスクを超えて、より専門化されたダウンストリームタスクについては、Geolocalization、LMMS闘争です。
この作業では、ユーザーが要求するように、画像の場所に関する情報を提供できる会話モデルGAEAを導入することにより、この問題を解決することを提案します。
このようなモデルのトレーニングを可能にする大規模なデータセットは存在しません。
したがって、OpenStreetMap（OSM）属性と地理的コンテキストの手がかりを活用することによって構築された800K画像と約160万の質問回答ペアを備えた包括的なデータセットGAEAを提案します。
定量的評価のために、多様な質問タイプを備えた会話機能を評価するために、4K画像テキストペアを含む多様なベンチマークを提案します。
11の最先端のオープンソースと独自のLMMを検討し、GAEAが最高のオープンソースモデルであるLlava-onevisionを25.69％上回り、GPT-4oを8.28％上回ることを実証します。
データセット、モデル、コードが利用可能です

要約(オリジナル)

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available

arxiv情報

提供元, 利用サービス

arxiv.jp, Google