Transformation-Based Models of Video Sequences

要約

この研究では、ビデオにおける次のフレーム予測のためのシンプルな教師なしアプローチを提案する。過去のフレームからフレーム内のピクセルを直接予測する代わりに、過去のフレームの変換を与えて、シーケンス内の次のフレームを生成するために必要な変換を予測する。これにより、より小さな予測モデルを用いながら、より鮮明な結果を得ることができます。また、異なる動画像フレーム予測モデルを公平に比較するために、新たな評価プロトコルを提案する。これは、生成されたフレームをグランドトゥルースシーケンスで学習した分類器の入力として使用する。この基準では、真実からの乖離にペナルティを与えるのではなく、識別可能な特徴を保持するシーケンスを生成するモデルが高いスコアを獲得することが保証される。本提案手法は、UCF-101データセットにおいて、より洗練された手法と比較して優位に立つと同時に、パラメータ数と計算コストの点でより効率的であることが示された。

要約(オリジナル)

In this work we propose a simple unsupervised approach for next frame prediction in video. Instead of directly predicting the pixels in a frame given past frames, we predict the transformations needed for generating the next frame in a sequence, given the transformations of the past frames. This leads to sharper results, while using a smaller prediction model. In order to enable a fair comparison between different video frame prediction models, we also propose a new evaluation protocol. We use generated frames as input to a classifier trained with ground truth sequences. This criterion guarantees that models scoring high are those producing sequences which preserve discriminative features, as opposed to merely penalizing any deviation, plausible or not, from the ground truth. Our proposed approach compares favourably against more sophisticated ones on the UCF-101 data set, while also being more efficient in terms of the number of parameters and computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL