Blur aware metric depth estimation with multi-focus plenoptic cameras

要約

従来のカメラはシーンの 1 つの視点のみをキャプチャしますが、プレノプティック カメラまたはライトフィールド カメラは 1 回のスナップショットで空間情報と角度情報をキャプチャできるため、1 回の取得から深度を推定できます。
この論文では、多焦点プレノプティック カメラからの生画像のみを使用した新しいメトリック深度推定アルゴリズムを紹介します。
提案されたアプローチは、焦点距離の異なる複数のマイクロレンズが使用される多焦点構成に特に適しています。
ブラー認識深度推定 (BLADE) アプローチの主な目的は、対応キューと焦点ぼけキューの両方を統合することにより、焦点ぼけステレオ画像の視差推定を改善することです。
このようにして、以前は欠点と考えられていたぼやけ情報を活用します。
焦点ぼけを含む逆投影モデルを明示的に導出し、スケール ファクターまでの深度推定を提供します。
次に、逆モデルを校正する方法が提案されます。
したがって、正確かつ正確なメトリック深度推定を達成するために、深度スケーリングを考慮します。
私たちの結果は、デフォーカスキューを導入すると深度推定が改善されることを示しています。
相対深度推定セットアップと、3D LIDAR スキャナーで取得したグランド トゥルースを使用した現実世界の 3D 複雑なシーンで、フレームワークと深度スケーリングのキャリブレーションの有効性を実証します。

要約(オリジナル)

While a traditional camera only captures one point of view of a scene, a plenoptic or light-field camera, is able to capture spatial and angular information in a single snapshot, enabling depth estimation from a single acquisition. In this paper, we present a new metric depth estimation algorithm using only raw images from a multi-focus plenoptic camera. The proposed approach is especially suited for the multi-focus configuration where several micro-lenses with different focal lengths are used. The main goal of our blur aware depth estimation (BLADE) approach is to improve disparity estimation for defocus stereo images by integrating both correspondence and defocus cues. We thus leverage blur information where it was previously considered a drawback. We explicitly derive an inverse projection model including the defocus blur providing depth estimates up to a scale factor. A method to calibrate the inverse model is then proposed. We thus take into account depth scaling to achieve precise and accurate metric depth estimates. Our results show that introducing defocus cues improves the depth estimation. We demonstrate the effectiveness of our framework and depth scaling calibration on relative depth estimation setups and on real-world 3D complex scenes with ground truth acquired with a 3D lidar scanner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google