Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?

要約

Vision-Language Models（VLMS）の進歩は、視覚データのみに基づいて場所の地理座標を識別する問題である、画像地理ローカリゼーションを含むロボットアプリケーションのエキサイティングな機会を提供します。
最近の研究作品は、VLMをジオローカリゼーションのための埋め込み抽出器として使用することに焦点を当てていますが、最も洗練されたVLMは、APIを介してアクセス可能なブラックボックスとしてのみ利用可能であり、多くの制限があります。
トレーニングデータ、モデル機能、勾配。
再訓練は不可能です。
予測の数はAPIによって制限される場合があります。
モデル出力に関するトレーニングはしばしば禁止されています。
クエリはオープンエンドです。
単一のテキストベースのプロンプトを使用したスタンドアロンのゼロショットジオローカリゼーションシステムとしてのVLMを使用することは、ほとんど説明されていません。
このギャップを埋めるために、このペーパーでは、最初の体系的な研究、私たちの知る限り、最先端のVLMのいくつかの可能性を調査して、スタンドアロンのゼロショット地理ローカリゼーションシステムとしての可能性を調査します。
現実的な制約を備えたブラックボックス設定。
この徹底的な調査のための3つの主要なシナリオを検討します。a）固定テキストベースのプロンプト。
b）意味的に等価のテキストベースのプロンプト。
およびc）意味的に等価なクエリ画像。
また、従来の精度に加えてメトリックとしてモデルの一貫性を使用することにより、地理ローカリゼーションタスクのユーティリティを調査する際に、VLMの自己回帰および確率的生成プロセスを考慮します。
私たちの作品は、上記のシナリオのさまざまなVLMの機能に関する新しい洞察を提供します。

要約(オリジナル)

The advances in Vision-Language models (VLMs) offer exciting opportunities for robotic applications involving image geo-localization, the problem of identifying the geo-coordinates of a place based on visual data only. Recent research works have focused on using a VLM as embeddings extractor for geo-localization, however, the most sophisticated VLMs may only be available as black boxes that are accessible through an API, and come with a number of limitations: there is no access to training data, model features and gradients; retraining is not possible; the number of predictions may be limited by the API; training on model outputs is often prohibited; and queries are open-ended. The utilization of a VLM as a stand-alone, zero-shot geo-localization system using a single text-based prompt is largely unexplored. To bridge this gap, this paper undertakes the first systematic study, to the best of our knowledge, to investigate the potential of some of the state-of-the-art VLMs as stand-alone, zero-shot geo-localization systems in a black-box setting with realistic constraints. We consider three main scenarios for this thorough investigation: a) fixed text-based prompt; b) semantically-equivalent text-based prompts; and c) semantically-equivalent query images. We also take into account the auto-regressive and probabilistic generation process of the VLMs when investigating their utility for geo-localization task by using model consistency as a metric in addition to traditional accuracy. Our work provides new insights in the capabilities of different VLMs for the above-mentioned scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google