STARS: Sensor-agnostic Transformer Architecture for Remote Sensing

要約

スペクトル基礎モデルの基礎として、センサーに依存しないスペクトル変換器を紹介します。
そのために、センシング カーネル仕様やセンシング波長などのセンサー メタデータを活用して、任意のスペクトル機器から取得したスペクトルを共通の表現にエンコードするユニバーサル スペクトル表現 (USR) を導入し、単一のモデルでデータを取り込むことができます。
あらゆるセンサーから。
さらに、センシングパラダイムから独立してスペクトル特徴を学習するための新しいランダムセンサー増強および再構成パイプラインを使用して、自己教師ありの方法でそのようなモデルを事前トレーニングするための方法論を開発します。
私たちのアーキテクチャが、トレーニング中に見られなかったセンサーに効果的に一般化する、センサーに依存しないスペクトル特徴を学習できることを実証します。
この作業は、スペクトル データの多様性を活用し、それに対して効果を発揮できる基礎モデルをトレーニングするための準備を整えます。

要約(オリジナル)

We present a sensor-agnostic spectral transformer as the basis for spectral foundation models. To that end, we introduce a Universal Spectral Representation (USR) that leverages sensor meta-data, such as sensing kernel specifications and sensing wavelengths, to encode spectra obtained from any spectral instrument into a common representation, such that a single model can ingest data from any sensor. Furthermore, we develop a methodology for pre-training such models in a self-supervised manner using a novel random sensor-augmentation and reconstruction pipeline to learn spectral features independent of the sensing paradigm. We demonstrate that our architecture can learn sensor independent spectral features that generalize effectively to sensors not seen during training. This work sets the stage for training foundation models that can both leverage and be effective for the growing diversity of spectral data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google