LVC-LGMC: Joint Local and Global Motion Compensation for Learned Video Compression

要約

既存の学習済みビデオ圧縮モデルは、フロー ネットまたは変形可能な畳み込みネットワーク (DCN) を使用して動き情報を推定します。
ただし、フロー ネットと DCN の限られた受容野は、本質的にローカル コンテキストに注意を向けます。
大規模なモーションやフレーム間のグローバル相関などのグローバル コンテキストは無視され、正確なモーションをキャプチャする上で重大なボトルネックとなります。
この問題に対処するために、学習されたビデオ符号化のためのローカルおよびグローバルの統合動き補償モジュール (LGMC) を提案します。
具体的には、局所的な動き補償にフローネットを採用しています。
グローバル コンテキストをキャプチャするために、動き補償のために特徴領域でクロス アテンションを採用します。
さらに、バニラクロスアテンションの二次的な複雑さを回避するために、アテンションのソフトマックス演算を 2 つの独立したソフトマックス演算に分割し、線形の複雑さをもたらします。
提案した LGMC の有効性を検証するために、それを DCVC-TCM と統合し、ローカルおよびグローバルの共同動き補償 (LVC-LGMC) を使用して学習されたビデオ圧縮を取得します。
広範な実験により、LVC-LGMC はベースライン DCVC-TCM に比べてレート歪み性能が大幅に向上していることが実証されました。

要約(オリジナル)

Existing learned video compression models employ flow net or deformable convolutional networks (DCN) to estimate motion information. However, the limited receptive fields of flow net and DCN inherently direct their attentiveness towards the local contexts. Global contexts, such as large-scale motions and global correlations among frames are ignored, presenting a significant bottleneck for capturing accurate motions. To address this issue, we propose a joint local and global motion compensation module (LGMC) for leaned video coding. More specifically, we adopt flow net for local motion compensation. To capture global context, we employ the cross attention in feature domain for motion compensation. In addition, to avoid the quadratic complexity of vanilla cross attention, we divide the softmax operations in attention into two independent softmax operations, leading to linear complexity. To validate the effectiveness of our proposed LGMC, we integrate it with DCVC-TCM and obtain learned video compression with joint local and global motion compensation (LVC-LGMC). Extensive experiments demonstrate that our LVC-LGMC has significant rate-distortion performance improvements over baseline DCVC-TCM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google