Self-Supervised Pretraining on Satellite Imagery: a Case Study on Label-Efficient Vehicle Detection

要約

衛星画像での車両検出などの防衛関連のリモート センシング アプリケーションでは、教師あり学習では、運用上のパフォーマンスに到達するために膨大な数のラベル付きの例が必要です。
このようなデータは、軍事専門家を必要とするため入手が困難であり、一部の観測データは本質的にまれです。
この限られたラベル付け機能と、センサーの数が増えているために利用可能なラベル付けされていない画像が多数あるため、リモート センシング画像でのオブジェクト検出は、自己教師あり学習に非常に関連性があります。
非常に高解像度の光学衛星画像でのオブジェクト検出のためのドメイン内自己教師あり表現学習を研究していますが、これはまだ十分に調査されていません。
私たちの知る限り、初めて、このタスクでのラベル効率の問題を研究します。
大規模な土地利用分類データセットの世界の機能マップを使用して、Momentum Contrast フレームワークの拡張機能を使用して表現を事前トレーニングします。
次に、戦略的なサイト監視の運用ユースケースを代表するように設計された、Preligens 独自のデータでの細粒度の車両検出と分類という現実世界のタスクで、このモデルの転送可能性を調査します。
ドメイン内の自己教師あり学習モデルが ImageNet 事前トレーニングと競合し、低ラベル体制でそれを上回ることを示します。

要約(オリジナル)

In defense-related remote sensing applications, such as vehicle detection on satellite imagery, supervised learning requires a huge number of labeled examples to reach operational performances. Such data are challenging to obtain as it requires military experts, and some observables are intrinsically rare. This limited labeling capability, as well as the large number of unlabeled images available due to the growing number of sensors, make object detection on remote sensing imagery highly relevant for self-supervised learning. We study in-domain self-supervised representation learning for object detection on very high resolution optical satellite imagery, that is yet poorly explored. For the first time to our knowledge, we study the problem of label efficiency on this task. We use the large land use classification dataset Functional Map of the World to pretrain representations with an extension of the Momentum Contrast framework. We then investigate this model’s transferability on a real-world task of fine-grained vehicle detection and classification on Preligens proprietary data, which is designed to be representative of an operational use case of strategic site surveillance. We show that our in-domain self-supervised learning model is competitive with ImageNet pretraining, and outperforms it in the low-label regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google