CHOSEN: Contrastive Hypothesis Selection for Multi-View Depth Refinement

要約

我々はCHOSENを提案する。CHOSENはシンプルでありながら柔軟性があり、ロバストで効果的なマルチビューデプス精密化フレームワークである。既存のマルチビューステレオパイプラインに採用することができ、カメラの相対位置やレンズなど、さまざまなマルチビューキャプチャシステムに対応する汎用性を備えている。初期の奥行き推定が与えられた場合、CHOSENは繰り返し再サンプリングして最良の仮説を選択し、キャプチャシステムによって決定される異なるメトリックまたは固有スケールに自動的に適応します。私たちのアプローチの鍵は、適切な解空間における対比学習と、慎重に設計された仮説特徴量の適用であり、これに基づいて、肯定的仮説と否定的仮説を効果的に区別することができる。シンプルなベースラインのマルチビューステレオパイプラインに統合されたCHOSENは、現在の多くのディープラーニングベースのマルチビューステレオパイプラインと比較して、深度と法線精度の面で印象的な品質を提供します。

要約(オリジナル)

We propose CHOSEN, a simple yet flexible, robust and effective multi-view depth refinement framework. It can be employed in any existing multi-view stereo pipeline, with straightforward generalization capability for different multi-view capture systems such as camera relative positioning and lenses. Given an initial depth estimation, CHOSEN iteratively re-samples and selects the best hypotheses, and automatically adapts to different metric or intrinsic scales determined by the capture system. The key to our approach is the application of contrastive learning in an appropriate solution space and a carefully designed hypothesis feature, based on which positive and negative hypotheses can be effectively distinguished. Integrated in a simple baseline multi-view stereo pipeline, CHOSEN delivers impressive quality in terms of depth and normal accuracy compared to many current deep learning based multi-view stereo pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL