Neural Plasticity-Inspired Foundation Model for Observing the Earth Crossing Modalities

要約

基礎モデルの開発により、衛星観測データを使用して地球の表面を解釈する能力に革命が起こりました。
従来のモデルはサイロ化されており、それぞれ独自の特性を持つ光学、レーダー、ハイパースペクトルなどの特定のセンサーやデータ タイプに合わせて調整されていました。
この特殊化により、これらの多様なデータ ソースの強みを組み合わせたメリットを享受できる総合的な分析の可能性が妨げられます。
私たちの新しいアプローチでは、脳科学における神経可塑性の概念を活用して、さまざまなデータ モダリティを単一のフレームワークに適応的に統合する、Dynamic One-For-All (DOFA) モデルを導入しています。
この動的なハイパーネットワークは、さまざまな波長に調整することで、5 つのセンサーからのデータで共同トレーニングされた単一の汎用性の高い Transformer が、事前トレーニング中に表示されなかったセンサーを含む 12 の異なる地球観測タスクにわたって優れた性能を発揮できるようにします。
DOFA の革新的な設計は、より正確で効率的かつ統合された地球観測分析に向けた有望な飛躍をもたらし、マルチモーダルな地球観測データの可能性を活用する際の顕著な適応性とパフォーマンスを示しています。

要約(オリジナル)

The development of foundation models has revolutionized our ability to interpret the Earth’s surface using satellite observational data. Traditional models have been siloed, tailored to specific sensors or data types like optical, radar, and hyperspectral, each with its own unique characteristics. This specialization hinders the potential for a holistic analysis that could benefit from the combined strengths of these diverse data sources. Our novel approach introduces the Dynamic One-For-All (DOFA) model, leveraging the concept of neural plasticity in brain science to integrate various data modalities into a single framework adaptively. This dynamic hypernetwork, adjusting to different wavelengths, enables a single versatile Transformer jointly trained on data from five sensors to excel across 12 distinct Earth observation tasks, including sensors never seen during pretraining. DOFA’s innovative design offers a promising leap towards more accurate, efficient, and unified Earth observation analysis, showcasing remarkable adaptability and performance in harnessing the potential of multimodal Earth observation data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google