MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning

要約

深層学習を利用して過去の事前知識に基づいて将来のフレームを予測する時空間予測学習は、多くの分野で広く使用されています。
これまでの研究では、基本的にネットワークを広げたり深くしたりすることでモデルのパフォーマンスを向上させていましたが、メモリのオーバーヘッドも急増し、このテクノロジの開発と応用を大きく妨げていました。
メモリ消費量を増やさずにパフォーマンスを向上させるために、モデルのパフォーマンスを向上させるための別の次元であるスケールに焦点を当てますが、メモリ要件は低くなります。
この有効性は、画像分類やセマンティック セグメンテーションなどの多くの CNN ベースのタスクで広く実証されていますが、最近の RNN モデルでは十分に検討されていません。
この論文では、マルチスケールの利点から学び、時空間予測学習のための最近の RNN モデルを強化するために、マルチスケール RNN (MS-RNN) と呼ばれる一般的なフレームワークを提案します。
徹底的な理論分析と徹底的な実験によって MS-RNN フレームワークを検証します。理論ではメモリの削減とパフォーマンスの向上に重点を置き、実験では 8 つの RNN モデル (ConvLSTM、TrajGRU、PredRNN、PredRNN++、MIM、MotionRNN、PredRNN-V2、および
PrecipLSTM) と 4 つのデータセット (Moving MNIST、TaxiBJ、KTH、および Germany)。
結果は、私たちのフレームワークを組み込んだ RNN モデルの効率性が、メモリコストを大幅に削減しながらも、以前よりも優れていることを示しています。
私たちのコードは \url{https://github.com/mazhf/MS-RNN} でリリースされています。

要約(オリジナル)

Spatiotemporal predictive learning, which predicts future frames through historical prior knowledge with the aid of deep learning, is widely used in many fields. Previous work essentially improves the model performance by widening or deepening the network, but it also brings surging memory overhead, which seriously hinders the development and application of this technology. In order to improve the performance without increasing memory consumption, we focus on scale, which is another dimension to improve model performance but with low memory requirement. The effectiveness has been widely demonstrated in many CNN-based tasks such as image classification and semantic segmentation, but it has not been fully explored in recent RNN models. In this paper, learning from the benefit of multi-scale, we propose a general framework named Multi-Scale RNN (MS-RNN) to boost recent RNN models for spatiotemporal predictive learning. We verify the MS-RNN framework by thorough theoretical analyses and exhaustive experiments, where the theory focuses on memory reduction and performance improvement while the experiments employ eight RNN models (ConvLSTM, TrajGRU, PredRNN, PredRNN++, MIM, MotionRNN, PredRNN-V2, and PrecipLSTM) and four datasets (Moving MNIST, TaxiBJ, KTH, and Germany). The results show the efficiency that RNN models incorporating our framework have much lower memory cost but better performance than before. Our code is released at \url{https://github.com/mazhf/MS-RNN}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google