A Visual Active Search Framework for Geospatial Exploration

要約

【タイトル】地理空間探索のためのビジュアルアクティブサーチフレームワーク

【要約】
・航空画像の支援を受けた形で、多くの問題を地理空間探索の形式で扱うことができる。
・VAS(Visual Active Search)フレームワークを用いてこの問題のクラスをモデル化する。
・VASは、広域の画像を入力とし、可能な限り多くの目標オブジェクトの例を特定することを目的としている。
・VASは、与えられた領域に目標物が存在するかどうかを検証する一連の制約を通して、これを行います。
・VASの重要な特徴は、それぞれのクエリが視覚的に捉えられないターゲットオブジェクトの空間分布について情報を提供することです。
・我々は、VASのために強化学習アプローチを提案し、完全に注釈された検索タスクのコレクションをトレーニングデータとして活用して検索ポリシーを学習する。
・また、VASタスクのテスト時の分布を完全に反映していない場合にポリシーを改善するためのドメイン適応技術を提案します。
・多数の衛星画像データセットでの詳細な実験を通じて、提案手法がいくつかの強力なベースラインを大幅に上回ることを示しました。
・コードとデータは公開されます。

要約(オリジナル)

Many problems can be viewed as forms of geospatial search aided by aerial imagery, with examples ranging from detecting poaching activity to human trafficking. We model this class of problems in a visual active search (VAS) framework, which takes as input an image of a broad area, and aims to identify as many examples of a target object as possible. It does this through a limited sequence of queries, each of which verifies whether an example is present in a given region. A crucial feature of VAS is that each such query is informative about the spatial distribution of target objects beyond what is captured visually (for example, due to spatial correlation). We propose a reinforcement learning approach for VAS that leverages a collection of fully annotated search tasks as training data to learn a search policy, and combines features of the input image with a natural representation of active search state. Additionally, we propose domain adaptation techniques to improve the policy at decision time when training data is not fully reflective of the test-time distribution of VAS tasks. Through extensive experiments on several satellite imagery datasets, we show that the proposed approach significantly outperforms several strong baselines. Code and data will be made public.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI