Temporal Attention Unit: Towards Efficient Spatiotemporal Predictive Learning

要約

タイトル – Temporal Attention Unit: Towards Efficient Spatiotemporal Predictive Learning
要約 – この論文では、歴史フレームから学習して将来のフレームを生成することを目的とした空間時間予測学習について調査し、空間エンコーダとデコーダがフレーム内の特徴を捉え、中間の時間モジュールがフレーム間の相関を捉え、一般的な空間時間予測学習の枠組みを提出する。主流の方法は、長期的な時間的依存関係を捉えるために再帰ユニットを利用するが、並列化できないアーキテクチャのため、計算効率が低い。そのため、時間的モジュールを並列化するために、Temporal Attention Unit (TAU)を提案する。TAUは、時間的注意をフレーム内の静的な注意とフレーム間の動的な注意に分解し、フレームの間の変動を考慮するために、平均二乗誤差損失に加えて、新しい微分発散正則化を導入する。広範な実験により、提案手法により、さまざまな空間時間予測ベンチマークで競争力のある性能を達成できることが示されました。

要約(オリジナル)

Spatiotemporal predictive learning aims to generate future frames by learning from historical frames. In this paper, we investigate existing methods and present a general framework of spatiotemporal predictive learning, in which the spatial encoder and decoder capture intra-frame features and the middle temporal module catches inter-frame correlations. While the mainstream methods employ recurrent units to capture long-term temporal dependencies, they suffer from low computational efficiency due to their unparallelizable architectures. To parallelize the temporal module, we propose the Temporal Attention Unit (TAU), which decomposes the temporal attention into intra-frame statical attention and inter-frame dynamical attention. Moreover, while the mean squared error loss focuses on intra-frame errors, we introduce a novel differential divergence regularization to take inter-frame variations into account. Extensive experiments demonstrate that the proposed method enables the derived model to achieve competitive performance on various spatiotemporal prediction benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI