Implicit Neural Representation for Video and Image Super-Resolution

要約

暗黙の神経表現（INR）を利用して、低解像度のビデオと画像を効果的に再構築および強化する超解像度の新しいアプローチを提示します。
ニューラルネットワークの能力を活用して空間的特徴と時間的機能を暗黙的にエンコードすることにより、この方法は、低解像度の入力と3D高解像度グリッドのみを使用して高解像度の再構築を促進します。
これにより、画像とビデオの両方の超解像度の両方に効率的なソリューションが得られます。
提案された方法であるSR-INRは、フレームと画像間で一貫した詳細を維持し、他のビデオ超解像度技術で通常使用される計算集中的な光学フローまたはモーション推定に依存することなく、印象的な時間的安定性を達成します。
私たちのアプローチのシンプルさは、多くの既存の方法の複雑さとは対照的であり、効果的かつ効率的です。
実験的評価は、SR-INRが、より単純な構造と計算需要の減少を維持しながら、最先端の超解像度方法と同等または優れた結果を提供することを示しています。
これらの発見は、低解像度データから高品質で時間的に一貫したビデオおよび画像シグナルを再構築するための強力なツールとしての暗黙の神経表現の可能性を強調しています。

要約(オリジナル)

We present a novel approach for super-resolution that utilizes implicit neural representation (INR) to effectively reconstruct and enhance low-resolution videos and images. By leveraging the capacity of neural networks to implicitly encode spatial and temporal features, our method facilitates high-resolution reconstruction using only low-resolution inputs and a 3D high-resolution grid. This results in an efficient solution for both image and video super-resolution. Our proposed method, SR-INR, maintains consistent details across frames and images, achieving impressive temporal stability without relying on the computationally intensive optical flow or motion estimation typically used in other video super-resolution techniques. The simplicity of our approach contrasts with the complexity of many existing methods, making it both effective and efficient. Experimental evaluations show that SR-INR delivers results on par with or superior to state-of-the-art super-resolution methods, while maintaining a more straightforward structure and reduced computational demands. These findings highlight the potential of implicit neural representations as a powerful tool for reconstructing high-quality, temporally consistent video and image signals from low-resolution data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google