VHS: High-Resolution Iterative Stereo Matching with Visual Hull Priors

要約

事前分布として視覚ハルを使用した高解像度画像からの奥行き推定のためのステレオマッチング法と、相関計算のためのメモリ効率の高い手法を提案します。
私たちの方法では、シーンの補足ビューから抽出されたオブジェクト マスクを使用して視差推定をガイドし、一致する検索スペースを効果的に削減します。
このアプローチは、正確な深度が下流の再構成タスクで重要な役割を果たすボリュメトリック キャプチャ システムのステレオ リグに特に合わせて調整されています。
最近のシステムがターゲットとする高解像度でのトレーニングと回帰を可能にするために、私たちのアプローチは、スパース相関計算を、主要なリカレント ネットワーク アーキテクチャでのアプリケーションに適したハイブリッド スパース – デンス スキームに拡張します。
私たちは、最先端の方法と比較して、私たちの方法のパフォーマンスと効率のトレードオフを評価し、視覚ハル ガイダンスの有効性を実証します。
さらに、最適化中のメモリ要件をさらに削減し、高解像度データでのトレーニングを容易にするトレーニング スキームを提案します。

要約(オリジナル)

We present a stereo-matching method for depth estimation from high-resolution images using visual hulls as priors, and a memory-efficient technique for the correlation computation. Our method uses object masks extracted from supplementary views of the scene to guide the disparity estimation, effectively reducing the search space for matches. This approach is specifically tailored to stereo rigs in volumetric capture systems, where an accurate depth plays a key role in the downstream reconstruction task. To enable training and regression at high resolutions targeted by recent systems, our approach extends a sparse correlation computation into a hybrid sparse-dense scheme suitable for application in leading recurrent network architectures. We evaluate the performance-efficiency trade-off of our method compared to state-of-the-art methods, and demonstrate the efficacy of the visual hull guidance. In addition, we propose a training scheme for a further reduction of memory requirements during optimization, facilitating training on high-resolution data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google