RBPGAN: Recurrent Back-Projection GAN for Video Super Resolution

要約

最近、ビデオ超解像度 (VSR) は、そのさまざまな用途により、コンピューター ビジョンの分野で非常に影響力のあるタスクとなっています。
この論文では、空間的な詳細を維持しながら時間的に一貫したソリューションを生成することを目的として、VSR 用のリカレント逆投影生成敵対的ネットワーク (RBPGAN) を提案します。
RBPGAN は 2 つの最先端のモデルを統合し、生成されるビデオの精度を損なうことなく両方の利点を最大限に活用します。
モデルのジェネレーターは RBPN システムからインスピレーションを得ており、ディスクリミネーターは TecoGAN からインスピレーションを得ています。
また、ピンポン損失を利用して、時間の経過とともに時間的な一貫性を高めます。
私たちの貢献により、さまざまなデータセットを使用して定性的および定量的に実証するため、時間的に一貫した詳細の点で以前の研究を上回るモデルが得られます。

要約(オリジナル)

Recently, video super resolution (VSR) has become a very impactful task in the area of Computer Vision due to its various applications. In this paper, we propose Recurrent Back-Projection Generative Adversarial Network (RBPGAN) for VSR in an attempt to generate temporally coherent solutions while preserving spatial details. RBPGAN integrates two state-of-the-art models to get the best in both worlds without compromising the accuracy of produced video. The generator of the model is inspired by RBPN system, while the discriminator is inspired by TecoGAN. We also utilize Ping-Pong loss to increase temporal consistency over time. Our contribution together results in a model that outperforms earlier work in terms of temporally consistent details, as we will demonstrate qualitatively and quantitatively using different datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google