Improved Multiple-Image-Based Reflection Removal Algorithm Using Deep Neural Networks

要約

ガラスなどの半反射性媒体を通して撮影する場合、撮影した画像に別のシーンの反射が見られることがあります。それは画像の品質を低下させ、その後の解析に影響を与える。本論文では、イメージングにおける反射の問題を解決するための新しいディープニューラルネットワークアプローチを紹介する。従来の反射除去法は、様々な最適化関数を解くために長い計算時間を必要とするだけでなく、その性能も保証されていない。現在のイメージングデバイスではアレイカメラが容易に利用できるため、本論文ではまず、畳み込みニューラルネットワーク（CNN）を用いた複数画像に基づく深度推定法を提案する。提案するネットワークは，画像中の反射による奥行き曖昧性の問題を回避し，画像エッジに沿った奥行きを直接推定する．この推定値を用いて、エッジが背景に属するか反射に属するかを分類する。類似した深度値を持つエッジは分類に誤差を生じやすいため、反射除去処理から除外される。我々は、削除された背景エッジを再生成するために、生成的敵対ネットワーク（GAN）を提案する。最後に、推定された背景エッジマップを別のオートエンコーダーネットワークに与え、元画像からの背景の抽出を支援する。実験の結果、提案する反射除去アルゴリズムは、最先端の手法と比較して、定量的・定性的にも優れた性能を達成することがわかった。また、提案アルゴリズムは、従来の最適化手法を用いた既存のアプローチと比較して、はるかに高速であることも示している。

要約(オリジナル)

When imaging through a semi-reflective medium such as glass, the reflection of another scene can often be found in the captured images. It degrades the quality of the images and affects their subsequent analyses. In this paper, a novel deep neural network approach for solving the reflection problem in imaging is presented. Traditional reflection removal methods not only require long computation time for solving different optimization functions, their performance is also not guaranteed. As array cameras are readily available in nowadays imaging devices, we first suggest in this paper a multiple-image based depth estimation method using a convolutional neural network (CNN). The proposed network avoids the depth ambiguity problem due to the reflection in the image, and directly estimates the depths along the image edges. They are then used to classify the edges as belonging to the background or reflection. Since edges having similar depth values are error prone in the classification, they are removed from the reflection removal process. We suggest a generative adversarial network (GAN) to regenerate the removed background edges. Finally, the estimated background edge map is fed to another auto-encoder network to assist the extraction of the background from the original image. Experimental results show that the proposed reflection removal algorithm achieves superior performance both quantitatively and qualitatively as compared to the state-of-the-art methods. The proposed algorithm also shows much faster speed compared to the existing approaches using the traditional optimization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL