ECSIC: Epipolar Cross Attention for Stereo Image Compression

要約

この論文では、ステレオ画像圧縮のための新しい学習方法である ECSIC を紹介します。
提案手法は、新しいステレオ クロス アテンション (SCA) モジュールと 2 つのステレオ コンテキスト モジュールを使用して、ステレオ画像ペアの画像間の相互情報を利用することにより、左右の画像を共同で圧縮します。
SCA モジュールは、2 つの画像の対応するエピポーラ ラインに限定されたクロスアテンションを実行し、それらを並行して処理します。
ステレオ コンテキスト モジュールは、最初の画像をコンテキストとして使用することにより、2 番目の符号化画像のエントロピー推定を改善します。
当社は、提案されたモジュールの有効性を実証する広範なアブレーション研究と、既存の方法との包括的な定量的および定性的な比較を実施します。
ECSIC は、Cityscapes と InStereo2k という 2 つの人気のあるステレオ画像データセットのステレオ画像圧縮において最先端のパフォーマンスを達成しながら、高速なエンコードとデコードを可能にします。

要約(オリジナル)

In this paper, we present ECSIC, a novel learned method for stereo image compression. Our proposed method compresses the left and right images in a joint manner by exploiting the mutual information between the images of the stereo image pair using a novel stereo cross attention (SCA) module and two stereo context modules. The SCA module performs cross-attention restricted to the corresponding epipolar lines of the two images and processes them in parallel. The stereo context modules improve the entropy estimation of the second encoded image by using the first image as a context. We conduct an extensive ablation study demonstrating the effectiveness of the proposed modules and a comprehensive quantitative and qualitative comparison with existing methods. ECSIC achieves state-of-the-art performance in stereo image compression on the two popular stereo image datasets Cityscapes and InStereo2k while allowing for fast encoding and decoding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google