RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining

要約

よくある天候として、雨すじは逆に画質を劣化させます。
したがって、画像から雨を除去することは、この分野で重要な問題になっています。
このような不適切な単一画像のデレイン タスクを処理するために、このホワイト ペーパーでは、レイン ストリークの固有の事前分布を埋め込み、明確な解釈可能性を持つ、レイン畳み込み辞書ネットワーク (RCDNet) と呼ばれる新しいディープ アーキテクチャを具体的に構築します。
具体的には、最初に雨の筋を表すための RCD モデルを確立し、近位勾配降下法を利用して、モデルを解くための単純な演算子のみを含む反復アルゴリズムを設計します。
それを展開することで、すべてのネットワーク モジュールが明確な物理的意味を持ち、アルゴリズムに含まれる各操作に対応する RCDNet を構築します。
この優れた解釈可能性により、ネットワーク内で何が起こっているか、および推論プロセスでうまく機能する理由を簡単に視覚化および分析できます。
さらに、実際のシナリオでのドメインギャップの問題を考慮して、新しい動的RCDNetをさらに設計します。これにより、入力された雨の画像に対応して雨のカーネルを動的に推測し、少数の雨マップで雨層推定のスペースを縮小するのに役立ちます。
トレーニング データとテスト データの間で雨の種類が一致しないシナリオで、優れた一般化パフォーマンスを確保します。
解釈可能なネットワークのようなエンドツーエンドのトレーニングにより、関連するすべての雨カーネルと近接オペレーターを自動的に抽出し、雨ときれいな背景レイヤーの両方の特徴を忠実に特徴付けることができるため、自然に排水性能が向上します。
包括的な実験は、特に多様なテストシナリオへの一般性とすべてのモジュールの優れた解釈可能性について、私たちの方法の優位性を実証しています。
コードは \emph{\url{https://github.com/hongwang01/DRCDNet}} で入手できます。

要約(オリジナル)

As a common weather, rain streaks adversely degrade the image quality. Hence, removing rains from an image has become an important issue in the field. To handle such an ill-posed single image deraining task, in this paper, we specifically build a novel deep architecture, called rain convolutional dictionary network (RCDNet), which embeds the intrinsic priors of rain streaks and has clear interpretability. In specific, we first establish a RCD model for representing rain streaks and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. By unfolding it, we then build the RCDNet in which every network module has clear physical meanings and corresponds to each operation involved in the algorithm. This good interpretability greatly facilitates an easy visualization and analysis on what happens inside the network and why it works well in inference process. Moreover, taking into account the domain gap issue in real scenarios, we further design a novel dynamic RCDNet, where the rain kernels can be dynamically inferred corresponding to input rainy images and then help shrink the space for rain layer estimation with few rain maps so as to ensure a fine generalization performance in the inconsistent scenarios of rain types between training and testing data. By end-to-end training such an interpretable network, all involved rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to better deraining performance. Comprehensive experiments substantiate the superiority of our method, especially on its well generality to diverse testing scenarios and good interpretability for all its modules. Code is available in \emph{\url{https://github.com/hongwang01/DRCDNet}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google