In-Hand 3D Object Scanning from an RGB Sequence

要約

単眼カメラを使用して未知の物体を手で 3D スキャンする方法を提案します。
私たちの方法は、オブジェクトのジオメトリと外観の両方をキャプチャするニューラルの暗黙的な表面表現に依存していますが、ほとんどの NeRF ベースの方法とは対照的に、カメラとオブジェクトの相対的な姿勢が既知であるとは想定していません。
代わりに、オブジェクトの形状とポーズの軌道の両方を同時に最適化します。
すべての形状パラメータと姿勢パラメータに対する直接的な最適化は、粗いレベルの初期化がなければ失敗する傾向があるため、最適化が成功する可能性が高い慎重に選択された重複セグメントにシーケンスを分割することから始める増分アプローチを提案します。
オブジェクトの形状を再構築し、各セグメント内で独立してポーズを追跡し、全体的な最適化を実行する前にすべてのセグメントをマージします。
私たちの方法は、テクスチャ付きオブジェクトと困難なテクスチャなしオブジェクトの両方の形状と色を再構成でき、外観の特徴のみに依存する古典的な方法よりも優れており、そのパフォーマンスが既知のカメラのポーズを想定する最近の方法に近いことを示します。

要約(オリジナル)

We propose a method for in-hand 3D scanning of an unknown object with a monocular camera. Our method relies on a neural implicit surface representation that captures both the geometry and the appearance of the object, however, by contrast with most NeRF-based methods, we do not assume that the camera-object relative poses are known. Instead, we simultaneously optimize both the object shape and the pose trajectory. As direct optimization over all shape and pose parameters is prone to fail without coarse-level initialization, we propose an incremental approach that starts by splitting the sequence into carefully selected overlapping segments within which the optimization is likely to succeed. We reconstruct the object shape and track its poses independently within each segment, then merge all the segments before performing a global optimization. We show that our method is able to reconstruct the shape and color of both textured and challenging texture-less objects, outperforms classical methods that rely only on appearance features, and that its performance is close to recent methods that assume known camera poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google