Detail-recovery Image Deraining via Dual Sample-augmented Contrastive Learning

要約

雨のイメージ コンテンツの複雑さは、多くの場合、最先端のデレイン モデルを、残りの雨、誤って削除された詳細、ゆがんだ外観などのイメージの劣化に導きます。
このような劣化は、合成データでトレーニングされたモデルを実際の雨の画像に適用するとさらに悪化します。
合成雨画像と現実世界の雨画像の間には、2 種類のドメイン ギャップが見られます。
もう 1 つは、雨のない画像のピクセル レベルの外観です。
2 つのドメインのギャップを埋めるために、デュアル サンプル拡張対比学習を備えた半教師付き詳細回復画像デレイン ネットワーク (Semi-DRDNet) を提案します。
Semi-DRDNet は 3 つのサブネットワークで構成されています。
ii) 失われた詳細の復元を促進するために、構造詳細コンテキスト集約ベースの詳細修復ネットワークを構築します。
私たちの知る限り、これは初めてです。
iii) 雨の筋ときれいな背景の両方に対して効率的なコントラスト制約を構築するために、新しいデュアル サンプル増強コントラスト正則化ネットワークを活用します。
.
確立された Real200 を含む 4 つのデータセットを比較すると、Semi-DRDNet が 15 の最先端の方法よりも明らかに改善されていることがわかります。
コードとデータセットは https://github.com/syy-whu/DRD-Net で入手できます。

要約(オリジナル)

The intricacy of rainy image contents often leads cutting-edge deraining models to image degradation including remnant rain, wrongly-removed details, and distorted appearance. Such degradation is further exacerbated when applying the models trained on synthetic data to real-world rainy images. We observe two types of domain gaps between synthetic and real-world rainy images: one exists in rain streak patterns; the other is the pixel-level appearance of rain-free images. To bridge the two domain gaps, we propose a semi-supervised detail-recovery image deraining network (Semi-DRDNet) with dual sample-augmented contrastive learning. Semi-DRDNet consists of three sub-networks:i) for removing rain streaks without remnants, we present a squeeze-and-excitation based rain residual network; ii) for encouraging the lost details to return, we construct a structure detail context aggregation based detail repair network; to our knowledge, this is the first time; and iii) for building efficient contrastive constraints for both rain streaks and clean backgrounds, we exploit a novel dual sample-augmented contrastive regularization network.Semi-DRDNet operates smoothly on both synthetic and real-world rainy data in terms of deraining robustness and detail accuracy. Comparisons on four datasets including our established Real200 show clear improvements of Semi-DRDNet over fifteen state-of-the-art methods. Code and dataset are available at https://github.com/syy-whu/DRD-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google