Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining

要約

雨の縞は、キャプチャされた画像の視認性を大幅に低下させるだけでなく、後続のコンピュータ ビジョン アプリケーションのパフォーマンスを制限する障害にもなります。
既存の深層学習ベースの画像ディレイン手法は、手動で作成されたネットワークを採用し、雨の画像から晴れた画像への直接的な投影を学習します。
より優れた排水パフォーマンスを追求するために、彼らは、ポジティブな情報とネガティブな情報の固有の特性を利用するのではなく、より複雑なアーキテクチャを精緻化することに重点を置いています。
この論文では、雨の画像と晴れの画像の間の相関を調査し、雨の画像と復元された画像の相互情報を最適化する前にコントラストを活用する、対比学習ベースの画像ディレイン法を提案します。
現実世界の複雑で多様な雨のパターンを考慮して、再帰的なメカニズムを開発します。
これには、マルチスケールの特徴抽出と動的なクロスレベル情報採用モジュールが含まれます。
前者は多様な雨のパターンの描写をより正確に進め、後者は浅いレベルの情報に対して高レベルの特徴を選択的に補正できます。
対照的な従来の提案された再帰的動的マルチスケール ネットワークを RDMC と呼びます。
合成ベンチマークと実世界の画像に関する広範な実験により、提案された RDMC が雨筋の描写において強力なパフォーマンスを発揮し、最先端の手法を上回るパフォーマンスを発揮することが実証されました。
さらに、オブジェクト検出とセマンティックセグメンテーションの実際の評価により、提案手法の有効性が示されています。

要約(オリジナル)

Rain streaks significantly decrease the visibility of captured images and are also a stumbling block that restricts the performance of subsequent computer vision applications. The existing deep learning-based image deraining methods employ manually crafted networks and learn a straightforward projection from rainy images to clear images. In pursuit of better deraining performance, they focus on elaborating a more complicated architecture rather than exploiting the intrinsic properties of the positive and negative information. In this paper, we propose a contrastive learning-based image deraining method that investigates the correlation between rainy and clear images and leverages a contrastive prior to optimize the mutual information of the rainy and restored counterparts. Given the complex and varied real-world rain patterns, we develop a recursive mechanism. It involves multi-scale feature extraction and dynamic cross-level information recruitment modules. The former advances the portrayal of diverse rain patterns more precisely, while the latter can selectively compensate high-level features for shallow-level information. We term the proposed recursive dynamic multi-scale network with a contrastive prior, RDMC. Extensive experiments on synthetic benchmarks and real-world images demonstrate that the proposed RDMC delivers strong performance on the depiction of rain streaks and outperforms the state-of-the-art methods. Moreover, a practical evaluation of object detection and semantic segmentation shows the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google