Dual-Pixel Raindrop Removal

要約

画像内の雨滴の除去は、さまざまなコンピューター ビジョン アプリケーションにとって重要なタスクとして扱われてきました。
この論文では、雨滴の除去により適切に対処するために、デュアルピクセル (DP) センサーを使用する最初の方法を提案します。
私たちの重要な観察結果は、ガラス窓に付着した雨滴が DP の左半分と右半分の画像に顕著な不一致をもたらす一方で、焦点が合っている背景にはほとんど不一致が存在しないことです。
したがって、DP 視差はロバストな雨滴検出に利用できます。
DP視差は、雨滴によって遮られた背景領域が左半分の画像と右半分の画像の間でシフトするという利点ももたらします。
したがって、左半分と右半分の画像からの情報を融合すると、より正確な背景テクスチャの回復につながる可能性があります。
上記の動機に基づいて、DP 雨滴検出と DP 融合雨滴除去からなる DP Raindrop Removal Network (DPRRN) を提案します。
大量のトレーニング データを効率的に生成するために、現実世界の背景 DP 画像に合成雨滴を追加する新しいパイプラインも提案します。
合成データセットと実世界のデータセットに関する実験結果は、DPRRN が既存の最先端の方法よりも優れていることを示しており、特に実世界の状況に対するより優れた堅牢性を示しています。
ソースコードとデータセットは http://www.ok.sc.e.titech.ac.jp/res/SIR/ で入手できます。

要約(オリジナル)

Removing raindrops in images has been addressed as a significant task for various computer vision applications. In this paper, we propose the first method using a Dual-Pixel (DP) sensor to better address the raindrop removal. Our key observation is that raindrops attached to a glass window yield noticeable disparities in DP’s left-half and right-half images, while almost no disparity exists for in-focus backgrounds. Therefore, DP disparities can be utilized for robust raindrop detection. The DP disparities also brings the advantage that the occluded background regions by raindrops are shifted between the left-half and the right-half images. Therefore, fusing the information from the left-half and the right-half images can lead to more accurate background texture recovery. Based on the above motivation, we propose a DP Raindrop Removal Network (DPRRN) consisting of DP raindrop detection and DP fused raindrop removal. To efficiently generate a large amount of training data, we also propose a novel pipeline to add synthetic raindrops to real-world background DP images. Experimental results on synthetic and real-world datasets demonstrate that our DPRRN outperforms existing state-of-the-art methods, especially showing better robustness to real-world situations. Our source code and datasets are available at http://www.ok.sc.e.titech.ac.jp/res/SIR/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google