PixelDINO: Semi-Supervised Semantic Segmentation for Detecting Permafrost Disturbances

要約

北極圏の永久凍土は、地球規模の気候変動により大きな変化に直面している。
これらの地域はほとんどがアクセスできないため、リモートセンシングは、地元規模だけでなく北極全体の根底にあるプロセスをより深く理解する上で重要な役割を果たします。
この研究では、解凍によって誘発される地滑りに匹敵する永久凍土の撹乱である逆行性解凍スランプ（RTS）の遠隔検出に焦点を当てます。
このような宇宙からの分析では、深層学習が不可欠なツールとなっていますが、ラベル付きトレーニング データが限られているため、正確なモデルをトレーニングするには依然として課題が残っています。
追加のラベル付きデータを必要とせずに北極全体でモデルの一般化を改善するために、RTS を検出するためにセマンティック セグメンテーション モデルをトレーニングする半教師あり学習アプローチを紹介します。
PixelDINO と呼ばれるフレームワークは、ラベル付きデータとラベルなしデータで並行してトレーニングされます。
ラベルのないデータの場合、モデルは画像を自己学習の疑似クラスにセグメント化し、トレーニング手順により、入力データの強力な拡張全体にわたってこれらの疑似クラスの一貫性が確保されます。
私たちの実験結果は、PixelDINO が教師ありベースライン手法と既存の半教師ありセマンティック セグメンテーション アプローチの両方でモデルのパフォーマンスを向上できることを示しており、トレーニング データに含まれていない領域をうまく一般化する堅牢なモデルをトレーニングできる可能性を強調しています。
この研究のコードやその他の資料を含むプロジェクト ページは、\url{https://khdlr.github.io/PixelDINO/} にあります。

要約(オリジナル)

Arctic Permafrost is facing significant changes due to global climate change. As these regions are largely inaccessible, remote sensing plays a crucial rule in better understanding the underlying processes not just on a local scale, but across the Arctic. In this study, we focus on the remote detection of retrogressive thaw slumps (RTS), a permafrost disturbance comparable to landslides induced by thawing. For such analyses from space, deep learning has become an indispensable tool, but limited labelled training data remains a challenge for training accurate models. To improve model generalization across the Arctic without the need for additional labelled data, we present a semi-supervised learning approach to train semantic segmentation models to detect RTS. Our framework called PixelDINO is trained in parallel on labelled data as well as unlabelled data. For the unlabelled data, the model segments the imagery into self-taught pseudo-classes and the training procedure ensures consistency of these pseudo-classes across strong augmentations of the input data. Our experimental results demonstrate that PixelDINO can improve model performance both over supervised baseline methods as well as existing semi-supervised semantic segmentation approaches, highlighting its potential for training robust models that generalize well to regions that were not included in the training data. The project page containing code and other materials for this study can be found at \url{https://khdlr.github.io/PixelDINO/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google