A Contrastive Method Based on Elevation Data for Remote Sensing with Scarce and High Level Semantic Labels

要約

【タイトル】
稀な高レベル意味ラベルに基づく高度データに基づく比較的な地球観測方法

【要約】
– 本研究は、非常に一般的なセマンティックコンセプトを示すラベルしかない地球観測の後続タスクに適用されるモデルを事前学習するための、混合非監督/監督学習方法を提案しています。
– 我々は、広く利用可能な空間的に粗い標高マップを予測するためのテキストタスクと対照的なアプローチをモデルに事前学習させ、モデルの表現を役立つものにします。
– このアプローチは、リモートセンシングタスクのターゲットと標高の間に一般的に相関があることから生じ、有用な表現を事前学習することができます。
– これらの方法は、コロンビア北東部のデータセットを用いた地すべり事後処理タスクと、それに派生した画像バイナリ分類タスクの両方で評価されます。
– いずれの場合も、未ラベルの39Kの画像でモデルを事前学習し、後続タスクを80のラベル付き画像でのみ微調整し、2944のラベル付き画像でテストします。
– 結果、標高の文脈発想タスクを持つGLCNet+ Elevation（地すべり検出用）とSimCLR+Elevation (バイナリ分類用) が、精度とマクロ平均F1の面で、標高プリテキストタスクを持たない同僚を上回ることが示されており、後続タスクのターゲットに相関する追加情報を含めることが、パフォーマンスの向上につながる可能性があることを裏付けています。

要約(オリジナル)

This work proposes a hybrid unsupervised/supervised learning method to pretrain models applied in earth observation downstream tasks where only a handful of labels denoting very general semantic concepts are available. We combine a contrastive approach to pretrain models with a pretext task to predict spatially coarse elevation maps which are commonly available worldwide. The intuition behind is that there is generally some correlation between the elevation and targets in many remote sensing tasks, allowing the model to pre-learn useful representations. We assess the performance of our approach on a segmentation downstream task on labels gathering many possible subclasses (pixel level classification of farmlands vs. other) and an image binary classification task derived from the former, on a dataset on the north-east of Colombia. On both cases we pretrain our models with 39K unlabeled images, fine tune the downstream task only with 80 labeled images and test it with 2944 labeled images. Our experiments show that our methods, GLCNet+Elevation for segmentation and SimCLR+Elevation for classification, outperform their counterparts without the elevation pretext task in terms of accuracy and macro-average F1, which supports the notion that including additional information correlated to targets in downstream tasks can lead to improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI