VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution

要約

動画は通常、ストリーミングで連続した視覚データを離散的な連続フレームとして記録する。忠実度の高い映像は保存コストが高いため、その多くは比較的低い解像度とフレームレートで保存されている。最近の時空間映像超解像技術（STVSR）は、時間的補間と空間的超解像を統一的なフレームワークで実現するものである。しかし、そのほとんどは固定されたアップサンプリングスケールしかサポートしておらず、その柔軟性と応用範囲は限定的である。本研究では、離散的な表現に従うのではなく、Video Implicit Neural Representation (VideoINR) を提案し、そのSTVSRへの応用を示す。学習された陰的神経表現は、任意の空間解像度やフレームレートの動画像に復号することができる。VideoINRは一般的なアップサンプリングスケールでは最先端のSTVSR手法と競合する性能を達成し、連続スケールや学習分布外のスケールでは先行研究を大きく上回る性能を発揮することが示された。私たちのプロジェクトページは http://zeyuan-chen.com/VideoINR/ にあります。

要約(オリジナル)

Videos typically record the streaming and continuous visual data as discrete consecutive frames. Since the storage cost is expensive for videos of high fidelity, most of them are stored in a relatively low resolution and frame rate. Recent works of Space-Time Video Super-Resolution (STVSR) are developed to incorporate temporal interpolation and spatial super-resolution in a unified framework. However, most of them only support a fixed up-sampling scale, which limits their flexibility and applications. In this work, instead of following the discrete representations, we propose Video Implicit Neural Representation (VideoINR), and we show its applications for STVSR. The learned implicit neural representation can be decoded to videos of arbitrary spatial resolution and frame rate. We show that VideoINR achieves competitive performances with state-of-the-art STVSR methods on common up-sampling scales and significantly outperforms prior works on continuous and out-of-training-distribution scales. Our project page is at http://zeyuan-chen.com/VideoINR/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL