EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues

要約

インタラクティブな視覚言語モデル (VLM) を介した膨大な地球観測データの自動分析により、環境モニタリング、災害対応、資源管理の新たな機会が開かれます。
既存の汎用 VLM はリモート センシング データではうまく機能しませんが、最近の地理空間 VLM は依然として固定解像度と少数のセンサー モダリティに制限されています。
この論文では、地球観測 (EO) データ用に特別に設計された会話型アシスタント、EarthDial を紹介します。これは、複雑で多感覚の地球観測を対話型の自然言語対話に変換します。
EarthDial は、マルチスペクトル、マルチタイム、マルチ解像度の画像をサポートしており、分類、検出、キャプション、質問応答、視覚的推論、視覚的グラウンディングなどの幅広いリモート センシング タスクを可能にします。
これを達成するために、RGB、合成開口レーダー (SAR)、近赤外線 (NIR) や赤外線などのマルチスペクトル モダリティをカバーする 1,111 万を超える命令ペアで構成される広範な命令調整データセットを導入します。
さらに、EarthDial は、変化検出などのアプリケーション向けに、バイテンポラルおよびマルチテンポラルのシーケンス分析を処理します。
37 の下流アプリケーションに関する広範な実験結果は、EarthDial が既存の汎用モデルやドメイン固有モデルよりも優れたパフォーマンスを発揮し、さまざまな EO タスクにわたってより優れた一般化を実現することを実証しています。

要約(オリジナル)

Automated analysis of vast Earth observation data via interactive Vision-Language Models (VLMs) can unlock new opportunities for environmental monitoring, disaster response, and resource management. Existing generic VLMs do not perform well on Remote Sensing data, while the recent Geo-spatial VLMs remain restricted to a fixed resolution and few sensor modalities. In this paper, we introduce EarthDial, a conversational assistant specifically designed for Earth Observation (EO) data, transforming complex, multi-sensory Earth observations into interactive, natural language dialogues. EarthDial supports multi-spectral, multi-temporal, and multi-resolution imagery, enabling a wide range of remote sensing tasks, including classification, detection, captioning, question answering, visual reasoning, and visual grounding. To achieve this, we introduce an extensive instruction tuning dataset comprising over 11.11M instruction pairs covering RGB, Synthetic Aperture Radar (SAR), and multispectral modalities such as Near-Infrared (NIR) and infrared. Furthermore, EarthDial handles bi-temporal and multi-temporal sequence analysis for applications like change detection. Our extensive experimental results on 37 downstream applications demonstrate that EarthDial outperforms existing generic and domain-specific models, achieving better generalization across various EO tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google