Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems

要約

3D 空間のニューラル暗黙的表現を使用した、マルチフレーム構造化光セットアップのための新しい深さ推定手法を紹介します。
私たちのアプローチでは、自己教師あり微分可能レンダリングを通じてトレーニングされたニューラル符号付き距離フィールド (SDF) を採用しています。
放射輝度と幾何学フィールドの共同推定が必要な受動的視覚とは異なり、構造化光システムの投影パターンからの既知の放射輝度フィールドを利用します。
これにより、ジオメトリ フィールドの個別の最適化が可能になり、固定デバイスの位置決めによる収束とネットワーク効率が確保されます。
幾何学的忠実度を高めるために、トレーニング中にオブジェクトの表面に基づいて追加の色損失を組み込みます。
実際の実験では、パターンの可用性が向上して同等の結果が得られながら、ショット数が少ないシナリオでの幾何学的パフォーマンスにおけるこの手法の優位性が実証されています。

要約(オリジナル)

We introduce a novel depth estimation technique for multi-frame structured light setups using neural implicit representations of 3D space. Our approach employs a neural signed distance field (SDF), trained through self-supervised differentiable rendering. Unlike passive vision, where joint estimation of radiance and geometry fields is necessary, we capitalize on known radiance fields from projected patterns in structured light systems. This enables isolated optimization of the geometry field, ensuring convergence and network efficacy with fixed device positioning. To enhance geometric fidelity, we incorporate an additional color loss based on object surfaces during training. Real-world experiments demonstrate our method’s superiority in geometric performance for few-shot scenarios, while achieving comparable results with increased pattern availability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google