Visibility-Aware Pixelwise View Selection for Multi-View Stereo Matching

要約

PatchMatch ベースのマルチビュー ステレオ アルゴリズムのパフォーマンスは、マッチング コストを計算するために選択されたソース ビューに大きく依存します。
さまざまなビューの可視性をモデル化する代わりに、ほとんどの既存のアプローチはその場しのぎの方法でオクルージョンを処理します。
この問題に対処するために、このペーパーでは、新しい可視性ガイド付きピクセル単位のビュー選択スキームを提案します。
すでに検証済みのソリューションによって提供される可視性情報に基づいて、参照ビューの各ピクセルに使用されるソース ビューのセットを徐々に改良します。
さらに、人工多蜂コロニー (AMBC) アルゴリズムを使用して、さまざまなピクセルの最適解を並行して検索します。
コロニー間通信は、同じ画像内でも異なる画像間でも行われます。
フィットネスの報酬は、検証および伝播されたソリューションに追加され、隣接するピクセルの滑らかさを効果的に強化し、テクスチャのない領域をより適切に処理できるようにします。
DTU データセットの実験結果は、私たちの方法が非学習ベースの方法の中で最先端のパフォーマンスを達成し、閉塞した低テクスチャ領域でより多くの詳細を取得することを示しています。

要約(オリジナル)

The performance of PatchMatch-based multi-view stereo algorithms depends heavily on the source views selected for computing matching costs. Instead of modeling the visibility of different views, most existing approaches handle occlusions in an ad-hoc manner. To address this issue, we propose a novel visibility-guided pixelwise view selection scheme in this paper. It progressively refines the set of source views to be used for each pixel in the reference view based on visibility information provided by already validated solutions. In addition, the Artificial Multi-Bee Colony (AMBC) algorithm is employed to search for optimal solutions for different pixels in parallel. Inter-colony communication is performed both within the same image and among different images. Fitness rewards are added to validated and propagated solutions, effectively enforcing the smoothness of neighboring pixels and allowing better handling of textureless areas. Experimental results on the DTU dataset show our method achieves state-of-the-art performance among non-learning-based methods and retrieves more details in occluded and low-textured regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google