Search-TTA: A Multimodal Test-Time Adaptation Framework for Visual Search in the Wild

要約

環境監視の自律視覚検索を実行するために、ロボットは衛星画像を前のマップとして活用することができます。
これは、そのような画像がターゲットの微細な明示的な視覚認識を可能にするのに十分な解像度がない場合でも、粗く、高レベルの検索および探索戦略を通知するのに役立ちます。
ただし、衛星画像を使用して視覚的な検索を指示することで克服すべきいくつかの課題があります。
1つは、衛星画像で見えないターゲットは、ほとんどの既存のデータセットでは（地上画像と比較して）過小評価されているため、これらのデータセットでトレーニングされたビジョンモデルは、間接的な視覚キューに基づいて効果的に推論できません。
さらに、一般化のために大きなビジョン言語モデル（VLM）を活用するアプローチは、幻覚のために不正確な出力をもたらし、非効率的な検索につながる可能性があります。
これらの課題に対処するために、テキストや画像入力を受け入れることができるマルチモーダルテスト時間適応フレームワークであるSearch-TTAを紹介します。
まず、リモートセンシングイメージエンコーダーを前処理して、視覚検索に使用されるターゲット存在の出力確率分布にClipの視覚エンコーダーに合わせます。
第二に、フレームワークは、テスト時間適応メカニズムを使用して、検索中のクリップの予測を動的に改良します。
空間ポアソンポイントプロセスに触発されたフィードバックループを介して、勾配の更新（不確実性によって重み付け）を使用して、予測（潜在的に不正確な）予測と検索パフォーマンスを改善するために使用されます。
Search-TTAのパフォーマンスを検証するために、インターネットスケールの生態学的データに基づいて視覚検索データセットをキュレートします。
特に初期クリップ予測が不十分な場合、Search-TTAはプランナーのパフォーマンスを最大9.7％改善することがわかります。
また、最先端のVLMに匹敵するパフォーマンスを達成します。
最後に、オンボードセンシングを提供する大規模なシミュレーション内で動作をシミュレートすることにより、ハードウェアインザループテストを介して、実際のUAVにSearch-TTAを展開します。

要約(オリジナル)

To perform autonomous visual search for environmental monitoring, a robot may leverage satellite imagery as a prior map. This can help inform coarse, high-level search and exploration strategies, even when such images lack sufficient resolution to allow fine-grained, explicit visual recognition of targets. However, there are some challenges to overcome with using satellite images to direct visual search. For one, targets that are unseen in satellite images are underrepresented (compared to ground images) in most existing datasets, and thus vision models trained on these datasets fail to reason effectively based on indirect visual cues. Furthermore, approaches which leverage large Vision Language Models (VLMs) for generalization may yield inaccurate outputs due to hallucination, leading to inefficient search. To address these challenges, we introduce Search-TTA, a multimodal test-time adaptation framework that can accept text and/or image input. First, we pretrain a remote sensing image encoder to align with CLIP’s visual encoder to output probability distributions of target presence used for visual search. Second, our framework dynamically refines CLIP’s predictions during search using a test-time adaptation mechanism. Through a feedback loop inspired by Spatial Poisson Point Processes, gradient updates (weighted by uncertainty) are used to correct (potentially inaccurate) predictions and improve search performance. To validate Search-TTA’s performance, we curate a visual search dataset based on internet-scale ecological data. We find that Search-TTA improves planner performance by up to 9.7%, particularly in cases with poor initial CLIP predictions. It also achieves comparable performance to state-of-the-art VLMs. Finally, we deploy Search-TTA on a real UAV via hardware-in-the-loop testing, by simulating its operation within a large-scale simulation that provides onboard sensing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google