Toward Foundation Models for Earth Monitoring: Generalizable Deep Learning Models for Natural Hazard Segmentation

要約

気候変動は、社会や企業を地球規模で危険にさらす極端な気象現象の可能性を高めます。
したがって、自然災害の救援、リスク管理、および政府の政策決定への情報提供をサポートするために、自然災害のほぼリアルタイムのマッピングが新たな優先事項となっています。
ほぼリアルタイムのマッピングを実現する最近の方法では、深層学習 (DL) をますます活用しています。
ただし、DL ベースのアプローチは、衛星データの特定の周波数帯域に基づいて、1 つの地理的領域で 1 つの特定のタスク用に設計されています。
したがって、特定の自然災害をマッピングするために使用される DL モデルは、目に見えない地域の他の種類の自然災害への一般化に苦労しています。
この作業では、適切な事前タスクの事前トレーニングに基づいて、DL 自然災害マッパーの一般化可能性を大幅に改善する方法論を提案します。
ターゲットドメインからのデータにアクセスすることなく、目に見えない自然災害のセグメンテーションのために、4 つの U-Net アーキテクチャ全体でこの改善された一般化可能性を示します。
重要なことに、私たちの方法は、地理的な違いや衛星データの周波数帯域の種類の違いに対して不変です。
公開されているターゲット ドメインからのラベルのない画像の特性を活用することで、私たちのアプローチは、微調整なしで一般化動作をさらに改善することができます。
それにより、私たちのアプローチは、衛星画像のさまざまなソースが与えられた新しい地理的地域全体で目に見えない自然災害を直接セグメント化することを目的として、地球監視の基礎モデルの開発をサポートします。

要約(オリジナル)

Climate change results in an increased probability of extreme weather events that put societies and businesses at risk on a global scale. Therefore, near real-time mapping of natural hazards is an emerging priority for the support of natural disaster relief, risk management, and informing governmental policy decisions. Recent methods to achieve near real-time mapping increasingly leverage deep learning (DL). However, DL-based approaches are designed for one specific task in a single geographic region based on specific frequency bands of satellite data. Therefore, DL models used to map specific natural hazards struggle with their generalization to other types of natural hazards in unseen regions. In this work, we propose a methodology to significantly improve the generalizability of DL natural hazards mappers based on pre-training on a suitable pre-task. Without access to any data from the target domain, we demonstrate this improved generalizability across four U-Net architectures for the segmentation of unseen natural hazards. Importantly, our method is invariant to geographic differences and differences in the type of frequency bands of satellite data. By leveraging characteristics of unlabeled images from the target domain that are publicly available, our approach is able to further improve the generalization behavior without fine-tuning. Thereby, our approach supports the development of foundation models for earth monitoring with the objective of directly segmenting unseen natural hazards across novel geographic regions given different sources of satellite imagery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google