Learning Parallax Transformer Network for Stereo Image JPEG Artifacts Removal

要約

ステレオ設定では、2番目のビューによって提供される追加情報を活用することで、画像JPEGアーティファクトの除去のパフォーマンスをさらに向上させることができます。
ただし、既存の圧縮アーティファクトがピクセルレベルのビューの位置合わせを困難にするため、ステレオ画像のJPEGアーティファクトの除去にこの情報を組み込むことは大きな課題です。
この論文では、ステレオ画像のJPEGアーティファクトを除去するために、ステレオ画像ペアからの情報を統合するための新しいパララックストランスネットワーク（PTNet）を提案します。
具体的には、ピクセルレベルのビューアライメントではなく、異なるビュー間で類似したテクスチャを持つフィーチャを一致させるために、適切に設計された対称双方向視差トランスフォーマーモジュールが提案されています。
オクルージョンと境界の問題のため、信頼ベースのクロスビュー融合モジュールが提案され、クロスビューの特徴が信頼マップで重み付けされている両方のビューのより良い特徴の融合を実現します。
特に、クロスビューインタラクションには粗い設計から細かい設計を採用しているため、パフォーマンスが向上します。
包括的な実験結果は、当社のPTNetが圧縮アーティファクトを効果的に除去し、他の最先端のテスト方法よりも優れたパフォーマンスを達成できることを示しています。

要約(オリジナル)

Under stereo settings, the performance of image JPEG artifacts removal can be further improved by exploiting the additional information provided by a second view. However, incorporating this information for stereo image JPEG artifacts removal is a huge challenge, since the existing compression artifacts make pixel-level view alignment difficult. In this paper, we propose a novel parallax transformer network (PTNet) to integrate the information from stereo image pairs for stereo image JPEG artifacts removal. Specifically, a well-designed symmetric bi-directional parallax transformer module is proposed to match features with similar textures between different views instead of pixel-level view alignment. Due to the issues of occlusions and boundaries, a confidence-based cross-view fusion module is proposed to achieve better feature fusion for both views, where the cross-view features are weighted with confidence maps. Especially, we adopt a coarse-to-fine design for the cross-view interaction, leading to better performance. Comprehensive experimental results demonstrate that our PTNet can effectively remove compression artifacts and achieves superior performance than other testing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google