Instance-Adaptive Video Compression: Improving Neural Codecs by Training on the Test Set

要約

インスタンス適応学習に基づいたビデオ圧縮アルゴリズムを導入します。
送信される各ビデオ シーケンスについて、事前トレーニングされた圧縮モデルを微調整します。
最適なパラメータは潜在コードとともに受信機に送信されます。
事前に適切な混合モデルに基づいてパラメータ更新をエントロピー コーディングすることにより、ネットワーク パラメータを効率的にエンコードできることが保証されます。
このインスタンス適応型圧縮アルゴリズムは、ベース モデルの選択に依存せず、あらゆるニューラル ビデオ コーデックを改善する可能性があります。
UVG、HEVC、Xiph データセットでは、当社のコーデックはスケールスペース フロー モデルのパフォーマンスを 21% ～ 27% BD レート節約し、最先端の B フレーム モデルのパフォーマンスを 17% 向上させます。
BD レートを 20% 節約します。
また、インスタンスに適応した微調整によってドメイン シフトに対する堅牢性が向上することも示します。
最後に、私たちのアプローチにより、圧縮モデルの容量要件が軽減されます。
ネットワーク サイズを 70% 削減した後でも、競争力のあるパフォーマンスが可能であることを示します。

要約(オリジナル)

We introduce a video compression algorithm based on instance-adaptive learning. On each video sequence to be transmitted, we finetune a pretrained compression model. The optimal parameters are transmitted to the receiver along with the latent code. By entropy-coding the parameter updates under a suitable mixture model prior, we ensure that the network parameters can be encoded efficiently. This instance-adaptive compression algorithm is agnostic about the choice of base model and has the potential to improve any neural video codec. On UVG, HEVC, and Xiph datasets, our codec improves the performance of a scale-space flow model by between 21% and 27% BD-rate savings, and that of a state-of-the-art B-frame model by 17 to 20% BD-rate savings. We also demonstrate that instance-adaptive finetuning improves the robustness to domain shift. Finally, our approach reduces the capacity requirements of compression models. We show that it enables a competitive performance even after reducing the network size by 70%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google