Latent Degradation Representation Constraint for Single Image Deraining

要約

雨の縞はさまざまな形状と方向を示すため、単一画像のディレインでは劣化表現を学習するのが非常に困難です。
既存の手法は主に、結合された雨の画像から潜在的な劣化表現を暗黙的に学習する複雑なモジュールを設計することを目的としています。
この方法では、明示的な制約がないため、コンテンツに依存しない劣化表現を切り離すのが難しく、その結果、強調の過剰または不足の問題が発生します。
この問題に取り組むために、方向認識エンコーダ (DAEncoder)、UNet Deraining Network、およびマルチスケール インタラクション ブロック (MSIBlock) で構成される新しい潜在劣化表現制約ネットワーク (LDRCNet) を提案します。
特に、DAEncoder は、雨すじの方向の一貫性を利用する変形可能な畳み込みを使用することにより、潜在的な劣化表現を適応的に抽出することが提案されています。
次に、制約損失を導入して、トレーニング中の劣化表現学習を明示的に制約します。
最後に、適応情報相互作用のためのディレイン ネットワークの学習された劣化表現とデコーダ機能を融合する MSIBlock を提案します。これにより、ディレイン ネットワークはさまざまな複雑な降雨パターンを除去し、画像の詳細を再構築できるようになります。
合成データセットと実際のデータセットに関する実験結果は、私たちの方法が新しい最先端のパフォーマンスを達成することを実証しています。

要約(オリジナル)

Since rain streaks show a variety of shapes and directions, learning the degradation representation is extremely challenging for single image deraining. Existing methods are mainly targeted at designing complicated modules to implicitly learn latent degradation representation from coupled rainy images. This way, it is hard to decouple the content-independent degradation representation due to the lack of explicit constraint, resulting in over- or under-enhancement problems. To tackle this issue, we propose a novel Latent Degradation Representation Constraint Network (LDRCNet) that consists of Direction-Aware Encoder (DAEncoder), UNet Deraining Network, and Multi-Scale Interaction Block (MSIBlock). Specifically, the DAEncoder is proposed to adaptively extract latent degradation representation by using the deformable convolutions to exploit the direction consistency of rain streaks. Next, a constraint loss is introduced to explicitly constraint the degradation representation learning during training. Last, we propose an MSIBlock to fuse with the learned degradation representation and decoder features of the deraining network for adaptive information interaction, which enables the deraining network to remove various complicated rainy patterns and reconstruct image details. Experimental results on synthetic and real datasets demonstrate that our method achieves new state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google