Motion-Plane-Adaptive Inter Prediction in 360-Degree Video Coding

要約

相互予測は、最新のビデオコーディング標準の高い圧縮効率を可能にする重要なテクノロジーの1つです。
既存のビデオコーディング標準を使用して圧縮できるようにするには、コーディングの前に360度ビデオを2D画像平面にマッピングする必要があります。
ただし、球面データを2D画像平面にマッピングするときに必然的に発生する歪みは、従来の相互予測手法のパフォーマンスを損ないます。
本論文では、360度ビデオの球形特性を考慮に入れた360度ビデオのための運動面適応型相互予測技術（MPA）を提案した。
ビデオの既知の投影形式に基づいて、MPAを使用すると、理論的には任意にマッピングされた2D画像表現に直接取り組む代わりに、3D空間内のさまざまなモーションプレーンで相互予測を実行できます。
さらに、異なるモーションプレーンとモーションモデル間でモーション情報を変換できるモーションプレーン適応モーションベクトル予測手法（MPA-MVP）を導出します。
提案されているMPAとMPA-MVPの最新のH.266/VVCビデオコーディング標準への統合は、PSNRに基づいて3.97％、PSNRに基づいて1.56％のピークで、1.72％の大幅なBjontegaardDeltaレートの節約を示しています。
平均してVTM-14.2ベースラインと比較してWS-PSNRに基づいて3.40％のピーク。

要約(オリジナル)

Inter prediction is one of the key technologies enabling the high compression efficiency of modern video coding standards. 360-degree video needs to be mapped to the 2D image plane prior to coding in order to allow compression using existing video coding standards. The distortions that inevitably occur when mapping spherical data onto the 2D image plane, however, impair the performance of classical inter prediction techniques. In this paper, we propose a motion-plane-adaptive inter prediction technique (MPA) for 360-degree video that takes the spherical characteristics of 360-degree video into account. Based on the known projection format of the video, MPA allows to perform inter prediction on different motion planes in 3D space instead of having to work on the – in theory arbitrarily mapped – 2D image representation directly. We furthermore derive a motion-plane-adaptive motion vector prediction technique (MPA-MVP) that allows to translate motion information between different motion planes and motion models. Our proposed integration of MPA together with MPA-MVP into the state-of-the-art H.266/VVC video coding standard shows significant Bjontegaard Delta rate savings of 1.72% with a peak of 3.97% based on PSNR and 1.56% with a peak of 3.40% based on WS-PSNR compared to the VTM-14.2 baseline on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google