Stereo Image Rain Removal via Dual-View Mutual Attention

要約

視差のある左右のビュー画像を含むステレオ画像は、最近、雨の除去や超解像などのロービジョンタスクの解決に利用されています。
通常、立体画像復元法は、暗黙的または明示的にデュアル ビュー間の視差を学習することにより、単眼法よりも優れたパフォーマンスを実現します。
ただし、既存のステレオ雨除去方法では、2 つのビュー間の補足情報を十分に活用することはできません。その理由は次のとおりです。
課題;
2) 2 つのビュー間の特徴の融合メカニズムが不完全であるため、視差の推定は十分に正確ではありません。
このような制限を克服するために、2 つのビュー間の十分な相互作用による新しい \underline{Stereo} \underline{I}mage \underline{R}ain \underline{R}emoval メソッド (StereoIRR) を提案します。
クロスビュー機能の融合を容易にするために、左右のビューを互いに重要な情報として取得することにより、相互注意マップを生成するデュアルビュー相互注意 (DMA) メカニズム。
2) 基本ブロックとデュアルビューの相互注意で構築された長距離およびクロスビューの相互作用は、補完的な情報に対する雨の悪影響を軽減し、ステレオ画像の特徴が長距離およびクロスビューを取得するのに役立ちます。
相互作用と融合を表示します。
特に、StereoIRR は、いくつかのデータセットで、他の関連する単眼およびステレオ画像の雨除去方法よりも優れています。
私たちのコードとデータセットがリリースされます。

要約(オリジナル)

Stereo images, containing left and right view images with disparity, are utilized in solving low-vision tasks recently, e.g., rain removal and super-resolution. Stereo image restoration methods usually obtain better performance than monocular methods by learning the disparity between dual views either implicitly or explicitly. However, existing stereo rain removal methods still cannot make full use of the complementary information between two views, and we find it is because: 1) the rain streaks have more complex distributions in directions and densities, which severely damage the complementary information and pose greater challenges; 2) the disparity estimation is not accurate enough due to the imperfect fusion mechanism for the features between two views. To overcome such limitations, we propose a new \underline{Stereo} \underline{I}mage \underline{R}ain \underline{R}emoval method (StereoIRR) via sufficient interaction between two views, which incorporates: 1) a new Dual-view Mutual Attention (DMA) mechanism which generates mutual attention maps by taking left and right views as key information for each other to facilitate cross-view feature fusion; 2) a long-range and cross-view interaction, which is constructed with basic blocks and dual-view mutual attention, can alleviate the adverse effect of rain on complementary information to help the features of stereo images to get long-range and cross-view interaction and fusion. Notably, StereoIRR outperforms other related monocular and stereo image rain removal methods on several datasets. Our codes and datasets will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google