Fine-tuning of Geospatial Foundation Models for Aboveground Biomass Estimation

要約

地球規模の植生構造マッピングは、地球規模の炭素循環を理解し、自然ベースの炭素隔離取り組みの有効性を最大化するために重要です。
さらに、植生構造マッピングは、たとえば、水の安全性を向上させ、生物多様性を高め、洪水リスクを軽減するための行動を導くことにより、気候変動の影響を軽減するのに役立ちます。
地球規模の衛星測定は、森林破壊と既存森林の劣化、天然林の再生、再植林、生物多様性の回復、持続可能な農業実践の監視と管理に重要な一連の観察を提供します。
この論文では、ブラジルのさまざまな生態地域にわたって収集された宇宙データを使用して地上バイオマス (AGB) を推定するための地理空間基礎モデルの微調整の有効性を検討します。
微調整されたモデル アーキテクチャは、エンコーダー (バックボーン) としての Swin-B トランスフォーマーと、デコーダー ヘッドの単一の畳み込み層で構成されていました。
すべての結果は、ベースライン モデルとしてトレーニングされた U-Net と比較されました。このスパース ラベル予測タスクの実験結果は、フリーズ エンコーダーを使用して微調整された地理空間基盤モデルが、最初からトレーニングされた U-Net と同等のパフォーマンスを備えていることを示しています。
これは、微調整されたモデルでは最適化が必要なパラメータが 13 分の 1 であり、時間とコンピューティング リソースの両方が節約されるにもかかわらずです。
さらに、ブラジルのさまざまな生態地域からのまばらなラベルを含む衛星画像を微調整することにより、地理空間基礎モデルの転移学習機能を調査します。

要約(オリジナル)

Global vegetation structure mapping is critical for understanding the global carbon cycle and maximizing the efficacy of nature-based carbon sequestration initiatives. Moreover, vegetation structure mapping can help reduce the impacts of climate change by, for example, guiding actions to improve water security, increase biodiversity and reduce flood risk. Global satellite measurements provide an important set of observations for monitoring and managing deforestation and degradation of existing forests, natural forest regeneration, reforestation, biodiversity restoration, and the implementation of sustainable agricultural practices. In this paper, we explore the effectiveness of fine-tuning of a geospatial foundation model to estimate above-ground biomass (AGB) using space-borne data collected across different eco-regions in Brazil. The fine-tuned model architecture consisted of a Swin-B transformer as the encoder (i.e., backbone) and a single convolutional layer for the decoder head. All results were compared to a U-Net which was trained as the baseline model Experimental results of this sparse-label prediction task demonstrate that the fine-tuned geospatial foundation model with a frozen encoder has comparable performance to a U-Net trained from scratch. This is despite the fine-tuned model having 13 times less parameters requiring optimization, which saves both time and compute resources. Further, we explore the transfer-learning capabilities of the geospatial foundation models by fine-tuning on satellite imagery with sparse labels from different eco-regions in Brazil.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google