Efficient data-driven gap filling of satellite image time series using deep neural networks with partial convolutions

要約

衛星画像の時系列に大量のギャップがあると、時空間モデリング用の畳み込みニューラル ネットワークなどの深層学習モデルの適用が複雑になることがよくあります。
画像の修復に関するコンピューター ビジョンの以前の研究に基づいて、このホワイト ペーパーでは、3 次元の時空間部分畳み込みをニューラル ネットワークのレイヤーとして使用して、衛星画像の時系列のギャップを埋める方法を示します。
このアプローチを評価するために、Sentinel-5P 衛星からの準全球一酸化炭素観測の不完全な画像時系列に U-Net のようなモデルを適用します。
予測誤差は、考慮されている 2 つの統計的アプローチに匹敵するものでしたが、予測の計算時間は最大 3 桁速くなり、このアプローチは大量の衛星データの処理に適用できるようになりました。
部分畳み込みは、他のタイプのニューラル ネットワークにレイヤーとして追加できるため、既存の深層学習モデルとの統合が比較的簡単になります。
ただし、このアプローチでは予測エラーを定量化することはできず、モデルの転送可能性を理解して改善するには、さらなる研究が必要です。
時空間部分畳み込みと U-Net のようなモデルの実装は、オープンソース ソフトウェアとして利用できます。

要約(オリジナル)

The abundance of gaps in satellite image time series often complicates the application of deep learning models such as convolutional neural networks for spatiotemporal modeling. Based on previous work in computer vision on image inpainting, this paper shows how three-dimensional spatiotemporal partial convolutions can be used as layers in neural networks to fill gaps in satellite image time series. To evaluate the approach, we apply a U-Net-like model on incomplete image time series of quasi-global carbon monoxide observations from the Sentinel-5P satellite. Prediction errors were comparable to two considered statistical approaches while computation times for predictions were up to three orders of magnitude faster, making the approach applicable to process large amounts of satellite data. Partial convolutions can be added as layers to other types of neural networks, making it relatively easy to integrate with existing deep learning models. However, the approach does not quantify prediction errors and further research is needed to understand and improve model transferability. The implementation of spatiotemporal partial convolutions and the U-Net-like model is available as open-source software.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google