Learned Distributed Image Compression with Multi-Scale Patch Matching in Feature Domai

要約

古典的な画像圧縮コーデックよりも高い圧縮効率を達成する以上に、深層画像圧縮は、追加のサイド情報、例えば、同じシーンの異なる視点からの別の画像によって改善されることが期待される。分散圧縮のシナリオで側面情報をよりよく利用するために、既存の方法（Ayzik and Avidan 2020）は、視点の違いに起因する視差問題を解決するために、画像ドメインでのパッチマッチングのみを実装しています。しかし、画像領域でのパッチマッチングは、視野角の違いによるスケール、形状、照明のばらつきに頑健ではなく、側面情報画像の豊富なテクスチャ情報を十分に活用することができない。この問題を解決するために、分散画像圧縮モデルのデコーダにおいて側面情報を十分に活用するためのマルチスケール特徴領域パッチマッチング(MSFDPM)を提案する。具体的には、MSFDPMは、側面情報特徴抽出器、マルチスケール特徴領域パッチマッチングモジュール、およびマルチスケール特徴融合ネットワークから構成される。さらに、浅い層のパッチ間相関を再利用し、深い層のパッチマッチングを高速化する。最後に、マルチスケール特徴領域でのパッチマッチングにより、画像領域でのパッチマッチング手法と比較して、圧縮率がさらに20%程度向上することを確認しました（Ayzik and Avidan 2020）。

要約(オリジナル)

Beyond achieving higher compression efficiency over classical image compression codecs, deep image compression is expected to be improved with additional side information, e.g., another image from a different perspective of the same scene. To better utilize the side information under the distributed compression scenario, the existing method (Ayzik and Avidan 2020) only implements patch matching at the image domain to solve the parallax problem caused by the difference in viewing points. However, the patch matching at the image domain is not robust to the variance of scale, shape, and illumination caused by the different viewing angles, and can not make full use of the rich texture information of the side information image. To resolve this issue, we propose Multi-Scale Feature Domain Patch Matching (MSFDPM) to fully utilizes side information at the decoder of the distributed image compression model. Specifically, MSFDPM consists of a side information feature extractor, a multi-scale feature domain patch matching module, and a multi-scale feature fusion network. Furthermore, we reuse inter-patch correlation from the shallow layer to accelerate the patch matching of the deep layer. Finally, we nd that our patch matching in a multi-scale feature domain further improves compression rate by about 20% compared with the patch matching method at image domain (Ayzik and Avidan 2020).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL