Squeezing nnU-Nets with Knowledge Distillation for On-Board Cloud Detection

要約

雲の検出は、地上と衛星の両方で実行できる重要な衛星画像の前処理ステップで、有用な画像にタグを付けることができます。
後者の場合、曇った領域を取り除くことでダウンリンクへのデータ量を削減したり、データ駆動型の捕捉再スケジュールを通じて衛星をより自律的にすることができます。
私たちは、さまざまなデータセット上でセグメンテーション ネットワークのメタ学習を実行できる自己再構成可能なフレームワークである nnU-Nets を使用して、このタスクに取り組みます。
残念ながら、そのようなモデルは、（非常に）大規模なアーキテクチャのため、一般にメモリ効率が低くなります。
オンボード処理でそれらの利点を活用するために、知識を蒸留して nnU-Net をはるかに小さくコンパクトな U-Net に圧縮します。
Sentinel-2 および Landsat-8 の画像に対して実行された実験により、nnU-Net が手動設計なしで最先端のパフォーマンスを提供することが明らかになりました。
私たちのアプローチは、On Cloud N: Cloud Cover Detection Challenge で上位 7% のベスト ソリューション (847 チーム中) にランクされ、10,000 以上の未確認 Sentinel-2 画像に対して Jaccard インデックス 0.882 に達しました (勝者は 0.897 を獲得しました)。
ResNet-34 バックボーンを備えたベースライン U-Net: 0.817、および従来の Sentinel-2 画像しきい値処理: 0.652)。
最後に、知識の蒸留により、セグメンテーション機能を維持しながら、nnU-Net と比較して劇的に小さい (ほぼ 280 倍) U-Net を精緻化できることを示しました。

要約(オリジナル)

Cloud detection is a pivotal satellite image pre-processing step that can be performed both on the ground and on board a satellite to tag useful images. In the latter case, it can reduce the amount of data to downlink by pruning the cloudy areas, or to make a satellite more autonomous through data-driven acquisition re-scheduling. We approach this task with nnU-Nets, a self-reconfigurable framework able to perform meta-learning of a segmentation network over various datasets. Unfortunately, such models are commonly memory-inefficient due to their (very) large architectures. To benefit from them in on-board processing, we compress nnU-Nets with knowledge distillation into much smaller and compact U-Nets. Our experiments, performed over Sentinel-2 and Landsat-8 images revealed that nnU-Nets deliver state-of-the-art performance without any manual design. Our approach was ranked within the top 7% best solutions (across 847 teams) in the On Cloud N: Cloud Cover Detection Challenge, where we reached the Jaccard index of 0.882 over more than 10k unseen Sentinel-2 images (the winners obtained 0.897, the baseline U-Net with the ResNet-34 backbone: 0.817, and the classic Sentinel-2 image thresholding: 0.652). Finally, we showed that knowledge distillation enables to elaborate dramatically smaller (almost 280x) U-Nets when compared to nnU-Nets while still maintaining their segmentation capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google