An Analysis of Temporal Dropout in Earth Observation Time Series for Regression Tasks

要約

時系列データに不足しているインスタンスは、特に回帰タスクにおいて、深い学習モデルに大きな課題を課します。
地球観測場では、衛星の故障または雲の閉塞により、タイムステップが欠落していることがよくあり、予測された出力に不確実性が導入され、予測性能が低下します。
多くの研究は、モデルの堅牢性を改善するためにデータの増強を通じて時間ステップの欠落に対処していますが、入力レベルで発生する不確実性は一般的に見落とされています。
このギャップに対処するために、モンテカルロ時間ドロップアウト（MC-TD）を導入します。これは、事前定義されたドロップアウト比を使用して、推論中にラン​​ダムにタイムステップをドロップすることにより、入力レベルの不確実性を明示的に説明し、それによって欠損データの効果をシミュレートする方法です。
最適なドロップアウト比の費用のかかる検索の必要性をバイパスするために、最適なドロップアウト分布を直接学習する方法であるモンテカルロコンクリートの時間的ドロップアウト（MC-CONCTD）でこのアプローチを拡張します。
MC-TDとMC-CONCTDの両方が推論中に適用され、不確実性の定量化のためにモンテカルロサンプリングを活用します。
3つのEO時系列データセットでの実験は、MC-CONCTDが既存のアプローチと比較して予測パフォーマンスと不確実性のキャリブレーションを改善することを示しています。
さらに、手動の選択よりも適応ドロップアウトチューニングの利点を強調し、EOアプリケーションで不確実性の定量化をより堅牢でアクセスしやすくします。

要約(オリジナル)

Missing instances in time series data impose a significant challenge to deep learning models, particularly in regression tasks. In the Earth Observation field, satellite failure or cloud occlusion frequently results in missing time-steps, introducing uncertainties in the predicted output and causing a decline in predictive performance. While many studies address missing time-steps through data augmentation to improve model robustness, the uncertainty arising at the input level is commonly overlooked. To address this gap, we introduce Monte Carlo Temporal Dropout (MC-TD), a method that explicitly accounts for input-level uncertainty by randomly dropping time-steps during inference using a predefined dropout ratio, thereby simulating the effect of missing data. To bypass the need for costly searches for the optimal dropout ratio, we extend this approach with Monte Carlo Concrete Temporal Dropout (MC-ConcTD), a method that learns the optimal dropout distribution directly. Both MC-TD and MC-ConcTD are applied during inference, leveraging Monte Carlo sampling for uncertainty quantification. Experiments on three EO time-series datasets demonstrate that MC-ConcTD improves predictive performance and uncertainty calibration compared to existing approaches. Additionally, we highlight the advantages of adaptive dropout tuning over manual selection, making uncertainty quantification more robust and accessible for EO applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google