Depth Estimation and Image Restoration by Deep Learning from Defocused Images

要約

単眼深度の推定と画像のブレ除去は、3D シーンを理解する上で重要な役割を果たしているため、コンピューター ビジョンの 2 つの基本的なタスクです。
単一のイメージに依存してそれらのいずれかを実行することは、不適切な問題です。
深い畳み込みニューラル ネットワーク (DNN) の分野における最近の進歩は、深度推定や画像のブレ除去など、コンピューター ビジョンの多くのタスクに革命をもたらしました。
デフォーカス画像の使用に関しては、深度推定とオールインフォーカス (Aif) 画像の回復は、デフォーカス物理学に起因する関連する問題になります。
それにもかかわらず、既存のモデルのほとんどはそれらを別々に扱います。
ただし、最近のモデルでは、2 つのネットワークを連続して連結し、最初に深度またはデフォーカス マップを推定し、次にそれに基づいて焦点の合った画像を再構築することで、これらの問題を同時に解決するモデルがあります。
深度推定と画像ブレ除去を並行して解決する DNN を提案します。
当社の双頭深度推定およびブレ除去ネットワーク (2HDED:NET) は、深度ブランチと同じエンコーダを共有するブレ除去ブランチを使用して、従来のデフォーカスからの深度 (DFD) ネットワークを拡張します。
提案された方法は、屋内シーン用と屋外シーン用の 2 つのベンチマーク (NYU-v2 と Make3D) で正常にテストされました。
これらのベンチマークで 2HDED:NET を使用して広範な実験を行った結果、深度推定と画像のブレ除去に関して、最先端のモデルよりも優れた、またはそれに近いパフォーマンスが実証されました。

要約(オリジナル)

Monocular depth estimation and image deblurring are two fundamental tasks in computer vision, given their crucial role in understanding 3D scenes. Performing any of them by relying on a single image is an ill-posed problem. The recent advances in the field of deep convolutional neural networks (DNNs) have revolutionized many tasks in computer vision, including depth estimation and image deblurring. When it comes to using defocused images, the depth estimation and the recovery of the All-in-Focus (Aif) image become related problems due to defocus physics. In spite of this, most of the existing models treat them separately. There are, however, recent models that solve these problems simultaneously by concatenating two networks in a sequence to first estimate the depth or defocus map and then reconstruct the focused image based on it. We propose a DNN that solves the depth estimation and image deblurring in parallel. Our Two-headed Depth Estimation and Deblurring Network (2HDED:NET) extends a conventional Depth from Defocus (DFD) network with a deblurring branch that shares the same encoder as the depth branch. The proposed method has been successfully tested on two benchmarks, one for indoor and the other for outdoor scenes: NYU-v2 and Make3D. Extensive experiments with 2HDED:NET on these benchmarks have demonstrated superior or close performances to those of the state-of-the-art models for depth estimation and image deblurring.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google