Multi-View Reconstruction using Signed Ray Distance Functions (SRDF)

要約

本論文では、マルチビュー3D形状再構成のための新しい最適化フレームワークを検討する。最近の微分可能なレンダリングアプローチは、暗黙の形状表現で画期的な性能を発揮しているが、推定される形状の精度がまだ不十分であることがある。一方、多視点ステレオ法は、視線に沿った局所的な深度予測により、ピクセル単位の幾何学的精度を得ることができる。我々のアプローチは、この2つの戦略のギャップを埋めるものであり、暗黙的ではあるが、ピクセル深度でパラメータ化された新しいボリューム形状表現によって、視線に沿って一貫した符号付き距離で形状表面をよりよく具体化する。このアプローチでは、ピクセル精度を維持しながら、最適化における体積統合の利点を享受する。この目的のために、深さは、体積離散化内の各3D位置で、対応する画素の深さ予測整合性と測光整合性の間の一致を評価することによって最適化される。この最適化は、関連する写真整合性の項には関係なく、中央値ベースのベースラインからより精巧な基準学習関数まで、様々なものがあります。我々の実験は、深度予測にボリュームを統合することの利点を実証するものである。また、我々のアプローチは、標準的な3Dベンチマークにおいて、より優れたジオメトリ推定で既存のアプローチを凌駕していることも示している。

要約(オリジナル)

In this paper, we investigate a new optimization framework for multi-view 3D shape reconstructions. Recent differentiable rendering approaches have provided breakthrough performances with implicit shape representations though they can still lack precision in the estimated geometries. On the other hand multi-view stereo methods can yield pixel wise geometric accuracy with local depth predictions along viewing rays. Our approach bridges the gap between the two strategies with a novel volumetric shape representation that is implicit but parameterized with pixel depths to better materialize the shape surface with consistent signed distances along viewing rays. The approach retains pixel-accuracy while benefiting from volumetric integration in the optimization. To this aim, depths are optimized by evaluating, at each 3D location within the volumetric discretization, the agreement between the depth prediction consistency and the photometric consistency for the corresponding pixels. The optimization is agnostic to the associated photo-consistency term which can vary from a median-based baseline to more elaborate criteria learned functions. Our experiments demonstrate the benefit of the volumetric integration with depth predictions. They also show that our approach outperforms existing approaches over standard 3D benchmarks with better geometry estimations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL