Cycle Contrastive Adversarial Learning for Unsupervised image Deraining

要約

単一画像ディレイン (SID) にペアの実世界データを当てはめる際の困難に対処するために、最近の教師なし手法が顕著な成功を収めています。
ただし、これらの方法では、セマンティック表現と画像コンテンツに注意が払われていないため、高品質で雨のない画像を生成するのに苦労することが多く、その結果、レイン レイヤーからコンテンツを効果的に分離できません。
この論文では、CCLGAN と呼ばれる、教師なし SID 用の新しいサイクル対比生成敵対的ネットワークを提案します。
このフレームワークは、サイクル対比学習 (CCL) とロケーション対比学習 (LCL) を組み合わせたものです。
CCL は、意味空間と識別空間の両方で、類似した特徴を近づけ、異なる特徴を遠ざけることにより、画像の再構成とレイン レイヤーの除去を改善します。
同時に、LCL は、異なるエグゼンプラ間で同じ位置に相互情報を制限することにより、コンテンツ情報を保存します。
CCLGAN は優れたパフォーマンスを示しており、広範な実験により CCLGAN の利点とそのコンポーネントの有効性が実証されています。

要約(オリジナル)

To tackle the difficulties in fitting paired real-world data for single image deraining (SID), recent unsupervised methods have achieved notable success. However, these methods often struggle to generate high-quality, rain-free images due to a lack of attention to semantic representation and image content, resulting in ineffective separation of content from the rain layer. In this paper, we propose a novel cycle contrastive generative adversarial network for unsupervised SID, called CCLGAN. This framework combines cycle contrastive learning (CCL) and location contrastive learning (LCL). CCL improves image reconstruction and rain-layer removal by bringing similar features closer and pushing dissimilar features apart in both semantic and discriminative spaces. At the same time, LCL preserves content information by constraining mutual information at the same location across different exemplars. CCLGAN shows superior performance, as extensive experiments demonstrate the benefits of CCLGAN and the effectiveness of its components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google