S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction

要約

我々は、(i) 新しい階層型残差学習ベクトル量子化変分オートエンコーダ (HR-VQVAE) と (ii) 新しい自己回帰時空間予測モデル (AST-PM) を組み合わせた新しいモデルを提案することで、ビデオ予測タスクに取り組みます。
このアプローチを逐次階層残差学習ベクトル量子化変分オートエンコーダー (S-HR-VQVAE) と呼びます。
HR-VQVAE の本質的な機能を活用して静止画像を倹約表現でモデリングし、AST-PM の時空間情報を処理する機能と組み合わせることで、S-HR-VQVAE はビデオ予測における主要な課題に適切に対処できます。
これらには、時空間情報の学習、高次元データの処理、不鮮明な予測への対処、物理的特性の暗黙的なモデリングが含まれます。
KTH Human Action、TrafficBJ、Human3.6M、Kitti という 4 つの困難なタスクに関する広範な実験結果は、はるかに小さいモデルにもかかわらず、私たちのモデルが定量的および定性的評価の両方で最先端のビデオ予測技術と比較して有利であることを実証しています。
サイズ。
最後に、HR-VQVAE パラメータと AST-PM パラメータを共同推定する新しいトレーニング方法を提案することで、S-HR-VQVAE を向上させます。

要約(オリジナル)

We address the video prediction task by putting forth a novel model that combines (i) a novel hierarchical residual learning vector quantized variational autoencoder (HR-VQVAE), and (ii) a novel autoregressive spatiotemporal predictive model (AST-PM). We refer to this approach as a sequential hierarchical residual learning vector quantized variational autoencoder (S-HR-VQVAE). By leveraging the intrinsic capabilities of HR-VQVAE at modeling still images with a parsimonious representation, combined with the AST-PM’s ability to handle spatiotemporal information, S-HR-VQVAE can better deal with major challenges in video prediction. These include learning spatiotemporal information, handling high dimensional data, combating blurry prediction, and implicit modeling of physical characteristics. Extensive experimental results on four challenging tasks, namely KTH Human Action, TrafficBJ, Human3.6M, and Kitti, demonstrate that our model compares favorably against state-of-the-art video prediction techniques both in quantitative and qualitative evaluations despite a much smaller model size. Finally, we boost S-HR-VQVAE by proposing a novel training method to jointly estimate the HR-VQVAE and AST-PM parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google