A contrastive method based on elevation data for remote sensing with scarce and high level semantic labels

要約

タイトル： 稀ながらも高度なセマンティックラベルに基づくリモートセンシングのための標高データに基づく対照的な手法

要約：

– 本研究は、非常に一般的な意味のあるコンセプトを示すハンドフルのラベルしか利用できない地球観測の下流タスクに適用されるモデルの事前学習方法を提案している。
– 対照的なアプローチを使用してモデルを事前学習し、一般的に世界中で利用できる空間的に粗い標高マップを予測するプリテキストタスクと組み合わせることで、ハイブリッドな教師なし / 教師あり学習手法を組み合わせた。
– 標高と多くのリモートセンシングタスクのターゲットとの間に一般的に相関があるため、モデルは有用な表現を事前学習することができます。
– 本手法の性能を、コロンビア北東部のデータセットを用いた、多数の可能なサブクラス（農地とその他の画素レベルの分類）のラベルを集めたセグメンテーション下流タスクと、それに由来する画像のバイナリクラス分類タスクで評価します。
– 両方の場合、39Kの未ラベルデータでモデルの事前学習を行い、下流タスクを80のラベル付き画像で微調整し、2944のラベル付き画像でテストします。
– 本実験は、GLCNet+Elevationを用いたセグメンテーションとSimCLR+Elevationを用いたクラス分類の手法は、精度とマクロ平均F1において、結果を改善するために下流タスクに関連する追加情報を含めることができることを支持する。

要約(オリジナル)

This work proposes a hybrid unsupervised/supervised learning method to pretrain models applied in earth observation downstream tasks where only a handful of labels denoting very general semantic concepts are available. We combine a contrastive approach to pretrain models with a pretext task to predict spatially coarse elevation maps which are commonly available worldwide. The intuition behind is that there is generally some correlation between the elevation and targets in many remote sensing tasks, allowing the model to pre-learn useful representations. We assess the performance of our approach on a segmentation downstream task on labels gathering many possible subclasses (pixel level classification of farmlands vs. other) and an image binary classification task derived from the former, on a dataset on the north-east of Colombia. On both cases we pretrain our models with 39K unlabeled images, fine tune the downstream task only with 80 labeled images and test it with 2944 labeled images. Our experiments show that our methods, GLCNet+Elevation for segmentation and SimCLR+Elevation for classification, outperform their counterparts without the elevation pretext task in terms of accuracy and macro-average F1, which supports the notion that including additional information correlated to targets in downstream tasks can lead to improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI