EarthPT: a time series foundation model for Earth Observation

要約

EarthPT は、地球観測 (EO) の事前訓練済みトランスフォーマーです。
EarthPT は、自己回帰自己教師ありの方法でトレーニングされ、特に EO のユースケースを念頭に置いて開発された 7 億パラメータのデコードトランスフォーマー基盤モデルです。
EarthPT は、400 ～ 2300 nm の範囲にわたる将来のピクセルレベルの表面反射率を将来にわたって正確に予測できる効果的な予測装置であることを実証します。
たとえば、正規化差分植生指数 (NDVI) の進化の予測では、5 か月のテスト セット期間にわたるピクセル レベルでの典型的な誤差は約 0.05 (-1 ～ > 1 の自然範囲で) であり、パフォーマンスを上回っています。
履歴平均に基づく単純な位相折り畳みモデル。
また、EarthPT によって学習されたエンベディングは意味的に意味のある情報を保持しており、非常に詳細で動的な土地利用分類などの下流タスクに利用できる可能性があることも示します。
興味深いことに、豊富な EO データにより、理論上は数千兆のトレーニング トークンが提供されることに注目しました。
したがって、EarthPT が大規模言語モデル (LLM) で導出されたものと同様のニューラル スケーリング則に従っていると仮定すると、現在、EarthPT や他の同様の「大規模観測モデル」のスケーリングにデータによって課せられる制限はありません。

要約(オリジナル)

We introduce EarthPT — an Earth Observation (EO) pretrained transformer. EarthPT is a 700 million parameter decoding transformer foundation model trained in an autoregressive self-supervised manner and developed specifically with EO use-cases in mind. We demonstrate that EarthPT is an effective forecaster that can accurately predict future pixel-level surface reflectances across the 400-2300 nm range well into the future. For example, forecasts of the evolution of the Normalised Difference Vegetation Index (NDVI) have a typical error of approximately 0.05 (over a natural range of -1 -> 1) at the pixel level over a five month test set horizon, out-performing simple phase-folded models based on historical averaging. We also demonstrate that embeddings learnt by EarthPT hold semantically meaningful information and could be exploited for downstream tasks such as highly granular, dynamic land use classification. Excitingly, we note that the abundance of EO data provides us with — in theory — quadrillions of training tokens. Therefore, if we assume that EarthPT follows neural scaling laws akin to those derived for Large Language Models (LLMs), there is currently no data-imposed limit to scaling EarthPT and other similar `Large Observation Models.’

arxiv情報

提供元, 利用サービス

arxiv.jp, Google