Continuous Cost Aggregation for Dual-Pixel Disparity Extraction

要約

最近の研究では、デュアルピクセル (DP) センサーから深度情報を取得できることが示されています。
DP 配置では、1 回のショットで 2 つのビューが提供されるため、小さなベースラインを持つステレオ画像のペアに似ています。
ただし、視差範囲が狭いだけでなく、ビューごとに点像分布関数 (PSF) が異なるため、一般的なステレオ マッチング アルゴリズムの使用には問題が生じます。
上記の欠点に対処するために、DP 画像から正確な連続差異を提供できるセミグローバル マッチング フレームワーク内の連続コスト集計 (CCA) スキームを提案します。
提案されたアルゴリズムは、放物線をマッチングコストに適合させ、画像パスに沿って放物線係数を集計します。
集計ステップは、視差の平滑性を強制するだけでなく、総コストの二次形式を維持する二次制約に従って実行されます。
これにより、閉じた形式でのピクセル単位の最小化による本質的に効率的な視差伝播スキームが生じます。
さらに、連続形式により、変動する PSF をより適切に補償する堅牢なマルチスケール集約が可能になります。
DSLR カメラと携帯電話カメラの両方からの DP データに関する実験では、提案されたスキームが DP 視差推定において最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Recent works have shown that depth information can be obtained from Dual-Pixel (DP) sensors. A DP arrangement provides two views in a single shot, thus resembling a stereo image pair with a tiny baseline. However, the different point spread function (PSF) per view, as well as the small disparity range, makes the use of typical stereo matching algorithms problematic. To address the above shortcomings, we propose a Continuous Cost Aggregation (CCA) scheme within a semi-global matching framework that is able to provide accurate continuous disparities from DP images. The proposed algorithm fits parabolas to matching costs and aggregates parabola coefficients along image paths. The aggregation step is performed subject to a quadratic constraint that not only enforces the disparity smoothness but also maintains the quadratic form of the total costs. This gives rise to an inherently efficient disparity propagation scheme with a pixel-wise minimization in closed-form. Furthermore, the continuous form allows for a robust multi-scale aggregation that better compensates for the varying PSF. Experiments on DP data from both DSLR and phone cameras show that the proposed scheme attains state-of-the-art performance in DP disparity estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google