Multi-View Stereo Representation Revisit: Region-Aware MVSNet

要約

タイトル：Multi-View Stereo Representation Revisit: Region-Aware MVSNet

要約：

– 多視点からの再構築における深層学習を利用したMulti-View Stereoは、幾何的に詳細なオブジェクトを再構築するための強力な手法として現れている。
– しかし、従来の多くの手法は、予測された点と光線と曲面の交差点の差を最小限に抑えることにより、ピクセルごとの深度値のみを推定していた。これにより、表面のトポロジーを無視することがよくあった。
– そのため、従来の手法では、表面にないテクスチャーの領域や表面の境界が正しく再構築されない場合がある。
– これらの問題に対処するために、仮想平面と表面パッチを関連付けることで、仮想平面上の点との距離を予測することを提案する（RA-MVSNet）。
– 提案手法により、テクスチャーのない領域を補完し、境界における外れ値を減らすことができる。
– また、距離ボリュームを生成することで、細かい詳細を持つメッシュのトポロジーを生成することができる。
– DTUデータセットとTanks＆Templesデータセットでの実験結果から、提案手法は、従来の深層学習を利用したMulti-View Stereo手法よりも完全な再構築結果を得ることができる。

要約(オリジナル)

Deep learning-based multi-view stereo has emerged as a powerful paradigm for reconstructing the complete geometrically-detailed objects from multi-views. Most of the existing approaches only estimate the pixel-wise depth value by minimizing the gap between the predicted point and the intersection of ray and surface, which usually ignore the surface topology. It is essential to the textureless regions and surface boundary that cannot be properly reconstructed. To address this issue, we suggest to take advantage of point-to-surface distance so that the model is able to perceive a wider range of surfaces. To this end, we predict the distance volume from cost volume to estimate the signed distance of points around the surface. Our proposed RA-MVSNet is patch-awared, since the perception range is enhanced by associating hypothetical planes with a patch of surface. Therefore, it could increase the completion of textureless regions and reduce the outliers at the boundary. Moreover, the mesh topologies with fine details can be generated by the introduced distance volume. Comparing to the conventional deep learning-based multi-view stereo methods, our proposed RA-MVSNet approach obtains more complete reconstruction results by taking advantage of signed distance supervision. The experiments on both the DTU and Tanks \& Temples datasets demonstrate that our proposed approach achieves the state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI