Unlocking the Use of Raw Multispectral Earth Observation Imagery for Onboard Artificial Intelligence

要約

現在、自然災害への対応など、タイムクリティカルな用途に地球観測 (EO) 衛星に人工知能 (AI) を搭載することへの関心が高まっています。
しかし、現在、生の衛星データが利用できないため、軽量な前処理技術の研究が妨げられ、ソース データから直接、より効率的かつ正確に洞察を抽出できるエンドツーエンドのパイプラインの探索が制限されています。
このギャップを埋めるために、この研究では、Sentinel-2 の生データやその他のマルチスペクトル EO プッシュブルームの生画像から、ターゲット イベント (例: 暖かい熱ホットスポット) または物体 (例: 船舶) を検出するためのデータセットの作成を自動化する新しい方法論を提示します。
。
提示されたアプローチでは、最初に、空間バンドの登録と生データ ピクセルの地理参照から構成されるパイプラインを適用することにより、生データを処理します。
次に、レベル 1C プロダクト上でイベント固有の最先端のアルゴリズムを活用することにより、ターゲット イベントを検出します。このアルゴリズムは、地理参照された対応する生の顆粒領域上でモザイク化およびトリミングされます。
検出されたイベントは、最終的に対応する生の画像に再投影されます。
提案された方法論を適用して、暖かい熱ホットスポットを含む Sentinel-2 生データの最初のデータセットである THRawS (Thermal Hotspots in Raw Sentinel-2 data) を実現します。
THRawS には、山火事、火山噴火、33,335 件のイベントフリー収集を含む 1,090 個のサンプルが含まれており、熱ホットスポットの検出と一般的な分類アプリケーションを可能にします。
このデータセットと関連ツールキットは、すぐに役立つリソースと、将来の追加のためのテンプレートとして機能するフレームワークと方法論の両方をコミュニティに提供します。
この研究により、私たちは、EO 衛星に搭載されたエネルギー効率の高い前処理アルゴリズムと AI ベースのエンドツーエンド処理システムの研究への道を切り開くことを期待しています。

要約(オリジナル)

Nowadays, there is growing interest in applying Artificial Intelligence (AI) on board Earth Observation (EO) satellites for time-critical applications, such as natural disaster response. However, the unavailability of raw satellite data currently hinders research on lightweight pre-processing techniques and limits the exploration of end-to-end pipelines, which could offer more efficient and accurate extraction of insights directly from the source data. To fill this gap, this work presents a novel methodology to automate the creation of datasets for the detection of target events (e.g., warm thermal hotspots) or objects (e.g., vessels) from Sentinel-2 raw data and other multispectral EO pushbroom raw imagery. The presented approach first processes the raw data by applying a pipeline consisting of spatial band registration and georeferencing of the raw data pixels. Then, it detects the target events by leveraging event-specific state-of-the-art algorithms on the Level-1C products, which are mosaicked and cropped on the georeferenced correspondent raw granule area. The detected events are finally re-projected back onto the corresponding raw images. We apply the proposed methodology to realize THRawS (Thermal Hotspots in Raw Sentinel-2 data), the first dataset of Sentinel-2 raw data containing warm thermal hotspots. THRawS includes 1090 samples containing wildfires, volcanic eruptions, and 33,335 event-free acquisitions to enable thermal hotspot detection and general classification applications. This dataset and associated toolkits provide the community with both an immediately useful resource as well as a framework and methodology acting as a template for future additions. With this work, we hope to pave the way for research on energy-efficient pre-processing algorithms and AI-based end-to-end processing systems on board EO satellites.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google