Back to the Future Cyclopean Stereo: a human perception approach unifying deep and geometric constraints

要約

深さの不連続性と閉塞を組み込んだシクロピアンアイモデルで見られるように、分析的な3D表面モデルを明示的に提供することにより、ステレオビジョンを革新します。
この幾何学的基盤と学習されたステレオ機能により、システムは両方のアプローチの強みから利益を得ることができます。
また、データマッチングでは不十分な閉塞領域またはテクスチャーのない領域を埋めるために、表面の以前の単眼モデルを呼び出します。
私たちの結果はすでに最先端の純粋にデータ駆動型の方法と同等であり、重要な視覚情報をキャプチャするための3D幾何学モデルの重要性を強調している視覚品質がはるかに優れています。
このような定性的改善により、バーチャルリアリティ、より良い人間の経験、および重要なエラーを減らすためのロボット工学のために、適用可能性が見られる可能性があります。
私たちのアプローチの目的は、3D表面の幾何学的特性の理解とモデリングがコンピュータービジョン研究にとって有益であることを実証することを目的としています。

要約(オリジナル)

We innovate in stereo vision by explicitly providing analytical 3D surface models as viewed by a cyclopean eye model that incorporate depth discontinuities and occlusions. This geometrical foundation combined with learned stereo features allows our system to benefit from the strengths of both approaches. We also invoke a prior monocular model of surfaces to fill in occlusion regions or texture-less regions where data matching is not sufficient. Our results already are on par with the state-of-the-art purely data-driven methods and are of much better visual quality, emphasizing the importance of the 3D geometrical model to capture critical visual information. Such qualitative improvements may find applicability in virtual reality, for a better human experience, as well as in robotics, for reducing critical errors. Our approach aims to demonstrate that understanding and modeling geometrical properties of 3D surfaces is beneficial to computer vision research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google