SenPa-MAE: Sensor Parameter Aware Masked Autoencoder for Multi-Satellite Self-Supervised Pretraining

要約

この論文では、観測されたマルチスペクトル信号のセンサー パラメーターを画像埋め込みにエンコードする変換アーキテクチャである SenPa-MAE を紹介します。
SenPa-MAE は、スペクトルまたは幾何学的センサー特性が一致しないさまざまな衛星の画像で事前トレーニングできます。
センサー パラメーターを組み込むために、多用途のセンサー パラメーター エンコード モジュールと、事前トレーニング データセットを多様化するためのデータ拡張戦略を提案します。
これにより、モデルはさまざまなセンサーを効果的に区別し、センサーのパラメーターと観測信号との相関関係を理解できるようになります。
地球観測衛星ミッションの増加とそのセンサー仕様の多様性を考慮すると、私たちのアプローチはセンサーに依存しない地球観測基盤モデルへの道を切り開きます。
これにより、クロスセンサートレーニングやセンサーに依存しない推論などの可能性が広がります。

要約(オリジナル)

This paper introduces SenPa-MAE, a transformer architecture that encodes the sensor parameters of an observed multispectral signal into the image embeddings. SenPa-MAE can be pre-trained on imagery of different satellites with non-matching spectral or geometrical sensor characteristics. To incorporate sensor parameters, we propose a versatile sensor parameter encoding module as well as a data augmentation strategy for the diversification of the pre-training dataset. This enables the model to effectively differentiate between various sensors and gain an understanding of sensor parameters and the correlation to the observed signal. Given the rising number of Earth observation satellite missions and the diversity in their sensor specifications, our approach paves the way towards a sensor-independent Earth observation foundation model. This opens up possibilities such as cross-sensor training and sensor-independent inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google