Select-and-Combine (SAC): A Novel Multi-Stereo Depth Fusion Algorithm for Point Cloud Generation via Efficient Local Markov Netlets

要約

画像ベースの表面再構成のための実際的なシステムの多くは、大規模なシーンに合わせて拡張できる能力と、コア外の操作の実装が容易であるため、ステレオ/マルチステレオ パラダイムを採用しています。
このプロセスでは、ステレオ マッチングから得られる複数の豊富な深度マップを組み合わせて、単一の一貫性のあるクリーンな点群に融合する必要があります。
ただし、ステレオ マッチングやポーズの不均一な幾何学的誤差によって生じるノイズや異常値は、既存の融合アルゴリズムに課題をもたらします。既存の融合アルゴリズムは主にガウス誤差を想定し、ローカルな空間近傍からのデータに基づいて融合結果を予測するためであり、複数のデータからの不確実性を引き継ぐ可能性があります。
深さが深くなると精度が低下します。
この論文では、複数の深度マップからポイントを数値的に融合する代わりに、ポイントごとに最適な深度マップを選択し、それらを単一のクリーンな点群に結合する、新しい深度融合パラダイムを提案します。
選択と結合 (SAC) と呼ばれるこのパラダイムは、ローカル マルコフ ネットレットを使用したポイント レベルの融合のモデル化によって実現されます。ローカル マルコフ ネットレットは、深さ/ビューの選択のための隣接するビューにわたるポイント上のマイクロ ネットワークであり、その後、ポイントの組み合わせのためのネットレットの折りたたみプロセスが続きます。
。
マルコフ ネットレットは、隣接するビューの深度マップ間の空間的一貫性を本質的に活用できるように最適化されているため、ガウス エラーを超えるエラーに対処できます。
私たちの実験結果は、精度と完全性の両方を考慮した F1 スコアを既存の最良の方法と比較して 2.07% 増加させることにより、私たちのアプローチが既存の深度融合アプローチよりも優れていることを示しています。
最後に、私たちのアプローチでは、融合前の精度が高く、冗長性が 18% 少ない、より鮮明な点群が生成されます。

要約(オリジナル)

Many practical systems for image-based surface reconstruction employ a stereo/multi-stereo paradigm, due to its ability to scale for large scenes and its ease of implementation for out-of-core operations. In this process, multiple and abundant depth maps from stereo matching must be combined and fused into a single, consistent, and clean point cloud. However, the noises and outliers caused by stereo matching and the heterogenous geometric errors of the poses present a challenge for existing fusion algorithms, since they mostly assume Gaussian errors and predict fused results based on data from local spatial neighborhoods, which may inherit uncertainties from multiple depths resulting in lowered accuracy. In this paper, we propose a novel depth fusion paradigm, that instead of numerically fusing points from multiple depth maps, selects the best depth map per point, and combines them into a single and clean point cloud. This paradigm, called select-and-combine (SAC), is achieved through modeling the point level fusion using local Markov Netlets, a micro-network over point across neighboring views for depth/view selection, followed by a Netlets collapse process for point combination. The Markov Netlets are optimized such that they can inherently leverage spatial consistencies among depth maps of neighboring views, thus they can address errors beyond Gaussian ones. Our experiment results show that our approach outperforms existing depth fusion approaches by increasing the F1 score that considers both accuracy and completeness by 2.07% compared to the best existing method. Finally, our approach generates clearer point clouds that are 18% less redundant while with a higher accuracy before fusion

arxiv情報

提供元, 利用サービス

arxiv.jp, Google