Information Prebuilt Recurrent Reconstruction Network for Video Super-Resolution

要約

リカレント畳み込みネットワークに基づく映像超解像（VSR）法は、映像シーケンスに対する強力な時間モデル化能力を有する。しかし、一方向性リカレントネットワークの異なるリカレントユニットの時間的受容野はアンバランスである。このため，早い再構成フレームでは時空間情報が少なく，ファジーやアーチファクトが発生する．双方向リカレントネットワークはこの問題を軽減することができるが、より多くのメモリ空間を必要とし、低遅延を要求される多くのタスクを実行することができない。上記の問題を解決するために、我々は、情報プリビルドネットワーク（IPNet）とリカレント再構成ネットワーク（RRNet）からなるエンドツーエンドの情報プリビルドリカレント再構成ネットワーク（IPRRN）を提案する。映像の前方から十分な情報を統合して、初期リカレントユニットが以前のフレームの復元を助けるために必要な隠れ状態を構築することにより、情報事前構築ネットワークは異なる時間ステップにおける入力情報差のバランスをとる。さらに、既存の単方向リカレント方式をあらゆる面で上回る、効率的なリカレント再構成ネットワークを実証する。多くの実験により、我々が提案するネットワークの有効性が検証され、既存の最先端方式と比較して、より優れた定量的・定性的評価性能を効果的に達成することができる。

要約(オリジナル)

The video super-resolution (VSR) method based on the recurrent convolutional network has strong temporal modeling capability for video sequences. However, the temporal receptive field of different recurrent units in the unidirectional recurrent network is unbalanced. Earlier reconstruction frames receive less spatio-temporal information, resulting in fuzziness or artifacts. Although the bidirectional recurrent network can alleviate this problem, it requires more memory space and fails to perform many tasks with low latency requirements. To solve the above problems, we propose an end-to-end information prebuilt recurrent reconstruction network (IPRRN), consisting of an information prebuilt network (IPNet) and a recurrent reconstruction network (RRNet). By integrating sufficient information from the front of the video to build the hidden state needed for the initially recurrent unit to help restore the earlier frames, the information prebuilt network balances the input information difference at different time steps. In addition, we demonstrate an efficient recurrent reconstruction network, which outperforms the existing unidirectional recurrent schemes in all aspects. Many experiments have verified the effectiveness of the network we propose, which can effectively achieve better quantitative and qualitative evaluation performance compared to the existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL