Unleashing Parameter Potential of Neural Representation for Efficient Video Compression

要約

何十年もの間、ビデオ圧縮テクノロジーは著名な研究分野でした。
従来のハイブリッド ビデオ圧縮フレームワークとエンドツーエンド フレームワークは、離散変換と深層学習技術に基づいたさまざまなフレーム内およびフレーム間の参照および予測戦略を引き続き検討しています。
ただし、新たに登場した暗黙的ニューラル表現 (INR) 技術は、ビデオ全体を基本単位としてモデル化し、フレーム内およびフレーム間の相関を自動的にキャプチャし、有望なパフォーマンスを取得します。
INR は、コンパクトなニューラル ネットワークを使用してビデオ情報をネットワーク パラメーターに保存し、元のビデオの空間的および時間的な冗長性を効果的に排除します。
しかし、この論文では、調査と検証により、現在の INR ビデオ圧縮方法が情報を保存する可能性を十分に活用していないことが明らかになりました。
私たちは、パラメータの再利用を通じてネットワーク パラメータのストレージを強化する可能性を調査します。
ネットワークを深くすることで、圧縮パフォーマンスをさらに向上させるための実現可能な INR パラメータ再利用スキームを設計しました。
広範な実験結果は、私たちの方法が INR ビデオ圧縮のレート歪みパフォーマンスを大幅に向上させることを示しています。

要約(オリジナル)

For decades, video compression technology has been a prominent research area. Traditional hybrid video compression framework and end-to-end frameworks continue to explore various intra- and inter-frame reference and prediction strategies based on discrete transforms and deep learning techniques. However, the emerging implicit neural representation (INR) technique models entire videos as basic units, automatically capturing intra-frame and inter-frame correlations and obtaining promising performance. INR uses a compact neural network to store video information in network parameters, effectively eliminating spatial and temporal redundancy in the original video. However, in this paper, our exploration and verification reveal that current INR video compression methods do not fully exploit their potential to preserve information. We investigate the potential of enhancing network parameter storage through parameter reuse. By deepening the network, we designed a feasible INR parameter reuse scheme to further improve compression performance. Extensive experimental results show that our method significantly enhances the rate-distortion performance of INR video compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google