Robust and Real-time Surface Normal Estimation from Stereo Disparities using Affine Transformations

要約

この作業では、整流されたステレオ画像ペアからの表面正常推定の新しい方法を導入し、格差から派生したアフィン変換を活用して、高速かつ正確な結果を達成します。
ステレオ画像ペアの修正が、計算の複雑さを減らすことにより、表面正常推定のプロセスをどのように簡素化するかを示します。
ノイズリダクションに対処するために、格差データを効率的に処理するために調整された畳み込み操作に触発されたカスタムアルゴリズムを開発します。
また、画像内の接続された表面成分を効率的に検出し、メソッドの堅牢性をさらに改善するための適応的ヒューリスティックテクニックを紹介します。
これらのメソッドを統合することにより、高速かつ正確な表面正常推定器を構築し、最終出力として密な方向のポイントクラウドを生成します。
私たちの方法は、ミドルベリーとCityscapesデータセットのシミュレートされた環境と現実世界のステレオ画像の両方を使用して検証され、GPUに実装されたときにリアルタイムのパフォーマンスと精度の大幅な改善を示しています。
受け入れられると、シェーダーソースコードが公開され、さらなる研究と再現性が促進されます。

要約(オリジナル)

This work introduces a novel method for surface normal estimation from rectified stereo image pairs, leveraging affine transformations derived from disparity values to achieve fast and accurate results. We demonstrate how the rectification of stereo image pairs simplifies the process of surface normal estimation by reducing computational complexity. To address noise reduction, we develop a custom algorithm inspired by convolutional operations, tailored to process disparity data efficiently. We also introduce adaptive heuristic techniques for efficiently detecting connected surface components within the images, further improving the robustness of the method. By integrating these methods, we construct a surface normal estimator that is both fast and accurate, producing a dense, oriented point cloud as the final output. Our method is validated using both simulated environments and real-world stereo images from the Middlebury and Cityscapes datasets, demonstrating significant improvements in real-time performance and accuracy when implemented on a GPU. Upon acceptance, the shader source code will be made publicly available to facilitate further research and reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google