Parameter-Efficient Adaptation of Geospatial Foundation Models through Embedding Deflection

要約

大規模な異質なデータセットがますます利用できるようになるにつれて、基礎モデルを低コストで適応させることが重要な問題になりました。
自然言語処理の独創的な作品、例えば
低ランク適応（LORA）は、適応中にパラメーター更新の低い「固有のランク」を活用します。
この論文では、データとモデルの両方により強力な帰納的バイアスを組み込むと、RGB衛星画像で前処理された地理空間基礎モデル（GFM）の適応が他のタイプの光学衛星データに適応できると主張しています。
具体的には、GFMの事前に抑制されたパラメーターは、マルチスペクトル画像の空間構造の強力な事前として機能します。
このため、GFMをほとんど追加のパラメーターでマルチスペクトル衛星画像に適応させるための新しい戦略である、Deflect（地球および気候の課題の潜在的な表現のための埋め込みの偏向）を紹介します。
DEFLELTは、抽出された機能の表現能力、特に地球科学と環境関連のタスクに不可欠なスペクトル情報の強化を改善します。
森林監視から海洋環境セグメンテーションに至るまで、3つの異なるGFMと5つの多様なデータセットにわたるメソッドの有効性を実証します。
競合する方法と比較して、Dedlefltは、分類およびセグメンテーションタスクのための5〜10 $ \ Times $のパラメーターを5〜10 $ \ Timesでより高い精度またはより高い精度を達成します。
コードは公開されます。

要約(オリジナル)

As large-scale heterogeneous data sets become increasingly available, adapting foundation models at low cost has become a key issue. Seminal works in natural language processing, e.g. Low-Rank Adaptation (LoRA), leverage the low ‘intrinsic rank’ of parameter updates during adaptation. In this paper, we argue that incorporating stronger inductive biases in both data and models can enhance the adaptation of Geospatial Foundation Models (GFMs), pretrained on RGB satellite images, to other types of optical satellite data. Specifically, the pretrained parameters of GFMs serve as a strong prior for the spatial structure of multispectral images. For this reason, we introduce DEFLECT (Deflecting Embeddings for Finetuning Latent representations for Earth and Climate Tasks), a novel strategy for adapting GFMs to multispectral satellite imagery with very few additional parameters. DEFLECT improves the representation capabilities of the extracted features, particularly enhancing spectral information, which is essential for geoscience and environmental-related tasks. We demonstrate the effectiveness of our method across three different GFMs and five diverse datasets, ranging from forest monitoring to marine environment segmentation. Compared to competing methods, DEFLECT achieves on-par or higher accuracy with 5-10$\times$ fewer parameters for classification and segmentation tasks. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google