Anti-aliasing Predictive Coding Network for Future Video Frame Prediction

要約

【タイトル：Anti-aliasing Predictive Coding Network for Future Video Frame Prediction】
【要約】
– 本論文では、正確かつシャープな将来のフレームを生成することを目的とした、予測コーディングベースのモデルを紹介する。
– 予測コーディング仮説や関連研究からインスピレーションを得て、全体的なモデルは、異なるネットワークレベル間の相互作用を強化するためにボトムアップとトップダウンの情報フローの組み合わせによって更新される。
– 重要な改善案として、ニューラルネットワークが明確かつ自然なフレームを生成することを保証するために、いくつかのアーティファクトを提案・改善しました。異なる入力は、単に連結または加算されるのではなく、粗く融合されるのを避けるために、調整された方法で計算されます。
– ダウンサンプリングとアップサンプリングモジュールは再設計され、ネットワークが低周波数の入力のフーリエ特徴からより簡単に画像を構成できるようになっています。また、訓練戦略も改良され、信憑性のある結果を生成し、入力予測フレームと正解との不一致を軽減することが検討されました。
– 提案された改善案により、ピクセル精度と視覚的効果のバランスがより良くなり、優れた結果が得られた。

要約(オリジナル)

We introduce here a predictive coding based model that aims to generate accurate and sharp future frames. Inspired by the predictive coding hypothesis and related works, the total model is updated through a combination of bottom-up and top-down information flows, which can enhance the interaction between different network levels. Most importantly, We propose and improve several artifacts to ensure that the neural networks generate clear and natural frames. Different inputs are no longer simply concatenated or added, they are calculated in a modulated manner to avoid being roughly fused. The downsampling and upsampling modules have been redesigned to ensure that the network can more easily construct images from Fourier features of low-frequency inputs. Additionally, the training strategies are also explored and improved to generate believable results and alleviate inconsistency between the input predicted frames and ground truth. Our proposals achieve results that better balance pixel accuracy and visualization effect.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI