LDMIC: Learning-based Distributed Multi-view Image Coding

要約

マルチビュー画像圧縮は、3D 関連のアプリケーションで重要な役割を果たします。
既存の方法は、対応する視差と残差情報を圧縮するためにジョイント エンコーディングを必要とする予測コーディング アーキテクチャを採用しています。
これには、カメラ間のコラボレーションが必要であり、異なるビュー間でエピポーラの幾何学的制約が適用されるため、視野がランダムに重なる分散型カメラ システムにこれらの方法を展開することが困難になります。
一方、分散ソースコーディング理論は、相関ソースの効率的なデータ圧縮が独立したエンコードと共同デコードによって達成できることを示しており、学習ベースの分散マルチビュー画像コーディング (LDMIC) フレームワークを設計する動機となっています。
独立したエンコーダーを使用して、LDMIC は、デコーダーでのクロスアテンション メカニズムに基づいたシンプルでありながら効果的な共同コンテキスト転送モジュールを導入して、画像間の幾何学的関係に影響されないグローバルなビュー間の相関関係を効果的にキャプチャします。
実験結果は、LDMIC が従来の MIC メソッドと学習ベースの MIC メソッドの両方よりも大幅に優れている一方で、高速なエンコード速度を享受していることを示しています。
コードは https://github.com/Xinjie-Q/LDMIC で公開されます。

要約(オリジナル)

Multi-view image compression plays a critical role in 3D-related applications. Existing methods adopt a predictive coding architecture, which requires joint encoding to compress the corresponding disparity as well as residual information. This demands collaboration among cameras and enforces the epipolar geometric constraint between different views, which makes it challenging to deploy these methods in distributed camera systems with randomly overlapping fields of view. Meanwhile, distributed source coding theory indicates that efficient data compression of correlated sources can be achieved by independent encoding and joint decoding, which motivates us to design a learning-based distributed multi-view image coding (LDMIC) framework. With independent encoders, LDMIC introduces a simple yet effective joint context transfer module based on the cross-attention mechanism at the decoder to effectively capture the global inter-view correlations, which is insensitive to the geometric relationships between images. Experimental results show that LDMIC significantly outperforms both traditional and learning-based MIC methods while enjoying fast encoding speed. Code will be released at https://github.com/Xinjie-Q/LDMIC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google