Rain Removal from Light Field Images with 4D Convolution and Multi-scale Gaussian Process

要約

既存のデレイン方法は、主に単一の入力画像に焦点を当てています。
しかし、1枚の入力画像だけでは、雨すじを正確に検出して除去し、雨のない画像に戻すことは非常に困難です。
対照的に、ライト フィールド イメージ (LFI) は、プレノプティック カメラを介して各入射光線の方向と位置を記録することにより、ターゲット シーンの豊富な 3D 構造とテクスチャ情報を埋め込みます。
LFI は、コンピューター ビジョンおよびグラフィックス コミュニティで人気が高まっています。
ただし、サブビューの 2D 配列や各サブビューの視差マップなど、LFI から得られる豊富な情報を十分に活用して、効果的な雨の除去を行うことは、依然として困難な問題です。
この論文では、LFI から雨筋を除去するための新しい方法、4D-MGP-SRRNet を提案します。
私たちの方法は、雨の多い LFI のすべてのサブビューを入力として受け取ります。
LFI を最大限に活用するために、4D 畳み込みレイヤーを採用して、LFI のすべてのサブビューを同時に処理します。
パイプラインでは、マルチスケールで入力 LFI のすべてのサブビューから高解像度の雨筋を検出するために、新しいマルチスケール自己誘導ガウス プロセス (MSGP) モジュールを備えた雨検出ネットワーク MGPDNet が提案されています。
仮想世界の雨の LFI と現実世界の雨の LFI の両方をマルチスケールでトレーニングすることにより、現実世界の雨の筋の疑似グラウンド トゥルースを計算することで、MSGP が雨の筋を正確に検出するための半教師あり学習が導入されました。
次に、予測された雨の筋を差し引いたすべてのサブビューを 4D 畳み込みベースの深さ推定残差ネットワーク (DERNet) に入力して、後で霧マップに変換される深さマップを推定します。
最後に、対応する雨の筋と霧のマップと連結されたすべてのサブビューが、敵対的再帰型ニューラル ネットワークに基づく強力な雨の LFI 復元モデルに供給され、雨の筋を徐々に除去し、雨のない LFI を回復します。

要約(オリジナル)

Existing deraining methods focus mainly on a single input image. However, with just a single input image, it is extremely difficult to accurately detect and remove rain streaks, in order to restore a rain-free image. In contrast, a light field image (LFI) embeds abundant 3D structure and texture information of the target scene by recording the direction and position of each incident ray via a plenoptic camera. LFIs are becoming popular in the computer vision and graphics communities. However, making full use of the abundant information available from LFIs, such as 2D array of sub-views and the disparity map of each sub-view, for effective rain removal is still a challenging problem. In this paper, we propose a novel method, 4D-MGP-SRRNet, for rain streak removal from LFIs. Our method takes as input all sub-views of a rainy LFI. To make full use of the LFI, it adopts 4D convolutional layers to simultaneously process all sub-views of the LFI. In the pipeline, the rain detection network, MGPDNet, with a novel Multi-scale Self-guided Gaussian Process (MSGP) module is proposed to detect high-resolution rain streaks from all sub-views of the input LFI at multi-scales. Semi-supervised learning is introduced for MSGP to accurately detect rain streaks by training on both virtual-world rainy LFIs and real-world rainy LFIs at multi-scales via computing pseudo ground truths for real-world rain streaks. We then feed all sub-views subtracting the predicted rain streaks into a 4D convolution-based Depth Estimation Residual Network (DERNet) to estimate the depth maps, which are later converted into fog maps. Finally, all sub-views concatenated with the corresponding rain streaks and fog maps are fed into a powerful rainy LFI restoring model based on the adversarial recurrent neural network to progressively eliminate rain streaks and recover the rain-free LFI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google