Releasing the Parameter Latency of Neural Representation for High-Efficiency Video Compression

要約

何十年もの間、映像圧縮技術は著名な研究分野であった。従来のハイブリッド動画圧縮フレームワークやエンドツーエンドフレームワークでは、離散変換やディープラーニング技術に基づく様々なフレーム内・フレーム間参照・予測戦略が模索され続けている。しかし、新たな暗黙的ニューラル表現（INR）技術は、動画全体を基本単位としてモデル化し、フレーム内およびフレーム間の相関関係を自動的に捕捉し、有望な性能を得る。INRは、コンパクトなニューラルネットワークを使用して、ネットワークパラメータに動画情報を格納し、元の動画の空間的・時間的冗長性を効果的に排除する。しかし、本論文では、我々の探索と検証により、現在のINRビデオ圧縮手法が、情報保存の潜在能力を十分に引き出せていないことが明らかになった。パラメータ再利用によるネットワークパラメータ保存強化の可能性を調査する。ネットワークを深くすることで、圧縮性能をさらに向上させる実現可能なINRパラメータ再利用方式を設計した。広範な実験結果から、我々の手法がINRビデオ圧縮のレート歪み性能を大幅に向上させることが示された。

要約(オリジナル)

For decades, video compression technology has been a prominent research area. Traditional hybrid video compression framework and end-to-end frameworks continue to explore various intra- and inter-frame reference and prediction strategies based on discrete transforms and deep learning techniques. However, the emerging implicit neural representation (INR) technique models entire videos as basic units, automatically capturing intra-frame and inter-frame correlations and obtaining promising performance. INR uses a compact neural network to store video information in network parameters, effectively eliminating spatial and temporal redundancy in the original video. However, in this paper, our exploration and verification reveal that current INR video compression methods do not fully exploit their potential to preserve information. We investigate the potential of enhancing network parameter storage through parameter reuse. By deepening the network, we designed a feasible INR parameter reuse scheme to further improve compression performance. Extensive experimental results show that our method significantly enhances the rate-distortion performance of INR video compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL