Sparse 3D Reconstruction via Object-Centric Ray Sampling

要約

我々は、360 度校正されたカメラ リグからキャプチャされたまばらなビューのセットから 3D オブジェクトを再構成するための新しい方法を提案します。
MLP ベースのニューラル表現と三角形メッシュの両方を使用するハイブリッド モデルを通じてオブジェクトの表面を表現します。
私たちの研究における主な貢献は、レイがすべてのビュー間で共有される、ニューラル表現の新しいオブジェクト中心のサンプリング スキームです。
これにより、反復ごとにニューラル モデルの更新に使用されるサンプルの数が効率的に集中され、削減されます。
このサンプリング スキームはメッシュ表現に依存して、サンプルが法線に沿って適切に分散されるようにします。
レンダリングは、微分可能なレンダラーによって効率的に実行されます。
このサンプリング スキームにより、ニューラル表現がより効果的にトレーニングされ、セグメンテーション マスクの追加の監視が不要で、最先端の 3D 再構成が得られ、Google のスキャンされたオブジェクト、戦車、寺院のスパース ビューで動作することを実証します。
MVMC 車のデータセット。

要約(オリジナル)

We propose a novel method for 3D object reconstruction from a sparse set of views captured from a 360-degree calibrated camera rig. We represent the object surface through a hybrid model that uses both an MLP-based neural representation and a triangle mesh. A key contribution in our work is a novel object-centric sampling scheme of the neural representation, where rays are shared among all views. This efficiently concentrates and reduces the number of samples used to update the neural model at each iteration. This sampling scheme relies on the mesh representation to ensure also that samples are well-distributed along its normals. The rendering is then performed efficiently by a differentiable renderer. We demonstrate that this sampling scheme results in a more effective training of the neural representation, does not require the additional supervision of segmentation masks, yields state of the art 3D reconstructions, and works with sparse views on the Google’s Scanned Objects, Tank and Temples and MVMC Car datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google