Information Prebuilt Recurrent Reconstruction Network for Video Super-Resolution

要約

再帰型畳み込みネットワークに基づくビデオ超解像 (VSR) メソッドには、ビデオ シーケンスの強力な時間モデリング機能があります。
ただし、一方向リカレント ネットワーク内の異なるリカレント ユニットの時間的受容野はバランスが取れていません。
初期の再構成フレームは時空間情報をあまり受信しないため、あいまいさやアーティファクトが発生します。
双方向リカレント ネットワークはこの問題を軽減できますが、より多くのメモリ領域を必要とし、低レイテンシ要件で多くのタスクを実行できません。
上記の問題を解決するために、事前構築済み情報ネットワーク (IPNet) と再帰再構築ネットワーク (RRNet) から構成される、エンドツーエンドの情報事前構築済み再帰再構築ネットワーク (IPRRN) を提案します。
ビデオの前部からの十分な情報を統合して、初期の再帰ユニットが以前のフレームを復元するために必要な隠れ状態を構築することにより、事前構築された情報ネットワークは、異なる時間ステップでの入力情報の差のバランスを取ります。
さらに、すべての面で既存の単方向再帰スキームよりも優れた効率的な再帰再構成ネットワークを示します。
多くの実験により、私たちが提案するネットワークの有効性が検証されており、既存の最先端の方法と比較して、より優れた定量的および定性的な評価パフォーマンスを効果的に達成できます。

要約(オリジナル)

The video super-resolution (VSR) method based on the recurrent convolutional network has strong temporal modeling capability for video sequences. However, the temporal receptive field of different recurrent units in the unidirectional recurrent network is unbalanced. Earlier reconstruction frames receive less spatio-temporal information, resulting in fuzziness or artifacts. Although the bidirectional recurrent network can alleviate this problem, it requires more memory space and fails to perform many tasks with low latency requirements. To solve the above problems, we propose an end-to-end information prebuilt recurrent reconstruction network (IPRRN), consisting of an information prebuilt network (IPNet) and a recurrent reconstruction network (RRNet). By integrating sufficient information from the front of the video to build the hidden state needed for the initially recurrent unit to help restore the earlier frames, the information prebuilt network balances the input information difference at different time steps. In addition, we demonstrate an efficient recurrent reconstruction network, which outperforms the existing unidirectional recurrent schemes in all aspects. Many experiments have verified the effectiveness of the network we propose, which can effectively achieve better quantitative and qualitative evaluation performance compared to the existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google