Panoptic Segmentation of Satellite Image Time Series with Convolutional Temporal Attention Networks

要約

マルチテンポラル衛星画像への前例のないアクセスにより、さまざまな地球観測タスクに新しい視点が開かれました。
それらの中で、農業区画のピクセル精度のパノラマセグメンテーションは、主要な経済的および環境的影響を及ぼします。
研究者は単一の画像についてこの問題を調査しましたが、作物の生物季節学の複雑な時間的パターンは、画像の時間的シーケンスでより適切に対処されると主張します。
この論文では、衛星画像時系列（SITS）のパノラマセグメンテーションのための最初のエンドツーエンドのシングルステージ手法を紹介します。
このモジュールは、豊富で適応性のあるマルチスケールの時空間的特徴を抽出するために時間的自己注意に依存する当社の新しい画像シーケンスエンコーディングネットワークと組み合わせることができます。
また、パノラマ注釈付きの最初のオープンアクセスSITSデータセットであるPASTISも紹介します。
複数の競合するアーキテクチャに対するセマンティックセグメンテーションに対するエンコーダの優位性を示し、SITSの最初の最先端のパノプティコンセグメンテーションを設定します。
私たちの実装とPASTISは公開されています。

要約(オリジナル)

Unprecedented access to multi-temporal satellite imagery has opened new perspectives for a variety of Earth observation tasks. Among them, pixel-precise panoptic segmentation of agricultural parcels has major economic and environmental implications. While researchers have explored this problem for single images, we argue that the complex temporal patterns of crop phenology are better addressed with temporal sequences of images. In this paper, we present the first end-to-end, single-stage method for panoptic segmentation of Satellite Image Time Series (SITS). This module can be combined with our novel image sequence encoding network which relies on temporal self-attention to extract rich and adaptive multi-scale spatio-temporal features. We also introduce PASTIS, the first open-access SITS dataset with panoptic annotations. We demonstrate the superiority of our encoder for semantic segmentation against multiple competing architectures, and set up the first state-of-the-art of panoptic segmentation of SITS. Our implementation and PASTIS are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google