Cross Modal Distillation for Flood Extent Mapping

要約

洪水の激しさと頻度の増加は、変化する気候の多くの結果の 1 つです。
この作業では、運用中の早期洪水警報システムの洪水検出モジュールを改善する ML 手法を探ります。
私たちの方法は、マルチスペクトルと合成開口レーダー (SAR) 画像のペアのラベル付けされていないデータセットを利用して、純粋な教師あり学習方法のラベル付け要件を軽減します。
以前の研究では、弱いラベルを作成することで、ラベルのないデータを使用していました。
しかし、私たちの実験から、そのようなモデルは依然としてそれらの弱いラベルのラベルの誤りを学習することになることに気付きました。
知識の蒸留と半教師付き学習に動機付けられた私たちは、小さなラベル付きデータセットと大きなラベルなしデータセットの助けを借りて、教師を使用して生徒をトレーニングする方法を探ります。
従来の自己蒸留セットアップとは異なり、より豊富なモダリティ (マルチスペクトル画像) で訓練された教師から SAR 画像で訓練された学生モデルに監督を移すクロスモーダル蒸留フレームワークを提案します。
次に、トレーニング済みのモデルを Sen1Floods11 データセットでテストします。
私たちのモデルは、テスト分割で 6.53% の Intersection-over-Union (IoU) の絶対マージンで、弱いラベルの SAR 画像でトレーニングされた Sen1Floods11 ベースライン モデルよりも優れています。

要約(オリジナル)

The increasing intensity and frequency of floods is one of the many consequences of our changing climate. In this work, we explore ML techniques that improve the flood detection module of an operational early flood warning system. Our method exploits an unlabelled dataset of paired multi-spectral and Synthetic Aperture Radar (SAR) imagery to reduce the labeling requirements of a purely supervised learning method. Prior works have used unlabelled data by creating weak labels out of them. However, from our experiments we noticed that such a model still ends up learning the label mistakes in those weak labels. Motivated by knowledge distillation and semi supervised learning, we explore the use of a teacher to train a student with the help of a small hand labelled dataset and a large unlabelled dataset. Unlike the conventional self distillation setup, we propose a cross modal distillation framework that transfers supervision from a teacher trained on richer modality (multi-spectral images) to a student model trained on SAR imagery. The trained models are then tested on the Sen1Floods11 dataset. Our model outperforms the Sen1Floods11 baseline model trained on the weak labeled SAR imagery by an absolute margin of 6.53% Intersection-over-Union (IoU) on the test split.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google