State-space Decomposition Model for Video Prediction Considering Long-term Motion Trend

要約

確率的ビデオ予測により、将来の動きの不確実性を考慮できるため、環境の動的な性質をより適切に反映できます。
画像自己回帰リカレントモデルに基づく確率的ビデオ予測方法は、その予測を潜在空間にフィードバックする必要があります。
逆に、フレーム合成と時間予測を分離する状態空間モデルは、より効率的であることが証明されています。
ただし、動きに関する長期の時間情報を推論し、非定常の仮定の下で動的シナリオに一般化することは未解決の課題のままです。
この論文では、ビデオフレーム生成全体を決定論的な外観予測と確率的動き予測に分解する状態空間分解確率的ビデオ予測モデルを提案します。
適応分解により、動的シナリオに対するモデルの一般化機能が強化されます。
動きの予測のコンテキストでは、将来の動きの長期的な傾向に関する事前情報を取得することが重要です。
したがって、確率的動き予測ブランチでは、条件付きフレームから長期的な動き傾向を推測し、条件付きフレームと高い一貫性を示す将来のフレームの生成をガイドします。
実験結果は、私たちのモデルが複数のデータセットのベースラインを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Stochastic video prediction enables the consideration of uncertainty in future motion, thereby providing a better reflection of the dynamic nature of the environment. Stochastic video prediction methods based on image auto-regressive recurrent models need to feed their predictions back into the latent space. Conversely, the state-space models, which decouple frame synthesis and temporal prediction, proves to be more efficient. However, inferring long-term temporal information about motion and generalizing to dynamic scenarios under non-stationary assumptions remains an unresolved challenge. In this paper, we propose a state-space decomposition stochastic video prediction model that decomposes the overall video frame generation into deterministic appearance prediction and stochastic motion prediction. Through adaptive decomposition, the model’s generalization capability to dynamic scenarios is enhanced. In the context of motion prediction, obtaining a prior on the long-term trend of future motion is crucial. Thus, in the stochastic motion prediction branch, we infer the long-term motion trend from conditional frames to guide the generation of future frames that exhibit high consistency with the conditional frames. Experimental results demonstrate that our model outperforms baselines on multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google