GoMVS: Geometrically Consistent Cost Aggregation for Multi-View Stereo

要約

マッチングコスト集計は、学習ベースのマルチビュー ステレオ ネットワークにおいて基本的な役割を果たします。
ただし、隣接するコストを直接集計すると、局所的な幾何学的不一致により最適な結果が得られない可能性があります。
関連する方法は、選択的な集約を追求するか、2D 空間での集約深度を改善するかのいずれかですが、どちらもコスト ボリュームの幾何学的不一致を効果的に処理することができません。
このペーパーでは、幾何学的に一貫したコストを集約し、隣接するジオメトリをより有効に活用する GoMVS を提案します。
より具体的には、表面法線と組み合わせて局所的な幾何学的滑らかさを利用することで、隣接するコストを参照ピクセルに対応させて伝播します。
これは、GCP (Geometric Consistent Propagation) モジュールによって実現されます。
表面法線を使用して、隣接する深度仮説空間から参照深度空間への対応を計算し、次にその対応を使用して隣接するコストを参照ジオメトリに伝播し、その後、集約のための畳み込みを行います。
私たちの手法は、DTU、Tanks & Temple、ETH3D データセットで新しい最先端のパフォーマンスを実現します。
特に、私たちの手法は、Tanks & Temple Advanced ベンチマークで 1 位にランクされています。

要約(オリジナル)

Matching cost aggregation plays a fundamental role in learning-based multi-view stereo networks. However, directly aggregating adjacent costs can lead to suboptimal results due to local geometric inconsistency. Related methods either seek selective aggregation or improve aggregated depth in the 2D space, both are unable to handle geometric inconsistency in the cost volume effectively. In this paper, we propose GoMVS to aggregate geometrically consistent costs, yielding better utilization of adjacent geometries. More specifically, we correspond and propagate adjacent costs to the reference pixel by leveraging the local geometric smoothness in conjunction with surface normals. We achieve this by the geometric consistent propagation (GCP) module. It computes the correspondence from the adjacent depth hypothesis space to the reference depth space using surface normals, then uses the correspondence to propagate adjacent costs to the reference geometry, followed by a convolution for aggregation. Our method achieves new state-of-the-art performance on DTU, Tanks & Temple, and ETH3D datasets. Notably, our method ranks 1st on the Tanks & Temple Advanced benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google