Boosting Multi-view Stereo with Late Cost Aggregation

要約

ペアワイズ マッチングのコスト集計は、最新の学習ベースのマルチビュー ステレオ (MVS) にとって重要なステップです。
以前の研究では、ペアごとのコストを中間コストに合計する早期集計スキームが採用されていました。
ただし、このプロセスにより情報を提供するペアワイズ マッチングが低下し、その結果、深度ネットワークが元の幾何学的マッチング キューを完全に活用できなくなる可能性があると私たちは分析しています。
この課題に対処するために、ネットワーク フィードフォワード プロセス全体でペアごとのコストを集計できる遅延集計アプローチを提案し、プレーンな CasMVSNet をわずかに変更するだけで正確な推定を実現します。
加重合計によって中間コストを構築する代わりに、遅延集計では、個別のビュー チャネルに沿ってすべてのペアごとのコストが保存されます。
これにより、後続の深度ネットワークは、コスト忠実度を損なうことなく、重要な幾何学的キューを完全に利用できるようになります。
新しい集約スキームに基づいて、維持コスト内でのビューの順序依存性に対処し、柔軟なテストビューを処理し、深度フィルタリングプロセスを改善するさらなる技術を提案します。
技術的な単純さにもかかわらず、私たちの方法はベースラインのカスケードベースのアプローチを大幅に改善し、有利な計算オーバーヘッドで最先端の方法と同等の結果を達成します。

要約(オリジナル)

Pairwise matching cost aggregation is a crucial step for modern learning-based Multi-view Stereo (MVS). Prior works adopt an early aggregation scheme, which adds up pairwise costs into an intermediate cost. However, we analyze that this process can degrade informative pairwise matchings, thereby blocking the depth network from fully utilizing the original geometric matching cues. To address this challenge, we present a late aggregation approach that allows for aggregating pairwise costs throughout the network feed-forward process, achieving accurate estimations with only minor changes of the plain CasMVSNet. Instead of building an intermediate cost by weighted sum, late aggregation preserves all pairwise costs along a distinct view channel. This enables the succeeding depth network to fully utilize the crucial geometric cues without loss of cost fidelity. Grounded in the new aggregation scheme, we propose further techniques addressing view order dependence inside the preserved cost, handling flexible testing views, and improving the depth filtering process. Despite its technical simplicity, our method improves significantly upon the baseline cascade-based approach, achieving comparable results with state-of-the-art methods with favorable computation overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google