Rain Removal from Light Field Images with 4D Convolution and Multi-scale Gaussian Process

要約

既存のデレイン方法は、主に単一の入力画像に焦点を当てています。
1枚の入力画像だけでは、雨すじを正確に検出し、雨すじを除去し、雨のない画像を復元することは非常に困難です。
単一の 2D 画像と比較して、ライト フィールド画像 (LFI) は、コンピュータで一般的なデバイスとして登場したプレノプティック カメラを介して各入射光線の方向と位置を記録することにより、ターゲット シーンの豊富な 3D 構造とテクスチャ情報を埋め込みます。
ビジョンとグラフィックの研究コミュニティ。
この論文では、LFI からの雨すじ除去のための新しいネットワーク、4D-MGP-SRRNet を提案します。
私たちの方法は、雨の多い LFI のすべてのサブビューを入力として受け取ります。
LFI を最大限に活用するために、4D 畳み込み層を採用して提案されたレイン ステーキ除去ネットワークを構築し、LFI のすべてのサブビューを同時に処理します。
提案されたネットワークでは、入力 LFI のすべてのサブビューから雨筋を検出するために、新しいマルチスケール自己誘導ガウス プロセス (MSGP) モジュールを備えた雨検出モデル MGPDNet が提案されています。
仮想世界の雨の LFI と現実の雨の LFI の両方を複数のスケールでトレーニングすることにより、現実世界の雨の筋の疑似グラウンド トゥルースを計算することにより、半教師あり学習が導入され、雨の筋を正確に検出します。
次に、予測された雨の筋を差し引いたすべてのサブビューが 4D 残差モデルに入力され、深度マップが推定されます。
最後に、推定された深度マップから変換された対応する雨筋および霧マップと連結されたすべてのサブビューが、敵対的リカレント ニューラル ネットワークに基づく雨の LFI 復元モデルに供給され、雨筋を徐々に除去し、雨のない LFI を回復します。
.
合成 LFI と実世界の LFI の両方に対して実施された広範な定量的および定性的評価は、提案された方法の有効性を示しています。

要約(オリジナル)

Existing deraining methods mainly focus on a single input image. With just a single input image, it is extremely difficult to accurately detect rain streaks, remove rain streaks, and restore rain-free images. Compared with a single 2D image, a light field image (LFI) embeds abundant 3D structure and texture information of the target scene by recording the direction and position of each incident ray via a plenoptic camera, which has emerged as a popular device in the computer vision and graphics research communities. In this paper, we propose a novel network, 4D-MGP-SRRNet, for rain streak removal from an LFI. Our method takes as input all sub-views of a rainy LFI. In order to make full use of the LFI, we adopt 4D convolutional layers to build the proposed rain steak removal network to simultaneously process all sub-views of the LFI. In the proposed network, the rain detection model, MGPDNet, with a novel Multi-scale Self-guided Gaussian Process (MSGP) module is proposed to detect rain streaks from all sub-views of the input LFI. Semi-supervised learning is introduced to accurately detect rain streaks by training on both virtual-world rainy LFIs and real-world rainy LFIs at multiple scales via calculating pseudo ground truth for real-world rain streaks. All sub-views subtracting the predicted rain streaks are then fed into a 4D residual model to estimate depth maps. Finally, all sub-views concatenated with the corresponding rain streaks and fog maps converted from the estimated depth maps are fed into a rainy LFI restoring model that is based on the adversarial recurrent neural network to progressively eliminate rain streaks and recover the rain-free LFI. Extensive quantitative and qualitative evaluations conducted on both synthetic LFIs and real-world LFIs demonstrate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google