BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects

要約

オブジェクトのニューラル 3D 再構成を同時に実行しながら、単眼 RGBD ビデオ シーケンスから未知のオブジェクトを 6-DoF 追跡するためのほぼリアルタイムの方法を提示します。
私たちの方法は、視覚的なテクスチャがほとんどない場合でも、任意の剛体オブジェクトに対して機能します。
オブジェクトは、最初のフレームのみでセグメント化されていると想定されます。
追加情報は必要なく、相互作用エージェントについての仮定もありません。
私たちの方法の鍵は、ジオメトリと外観の両方をキャプチャする一貫した 3D 表現に情報を堅牢に蓄積するために、ポーズ グラフの最適化プロセスと同時に学習されるニューラル オブジェクト フィールドです。
これらのスレッド間の通信を容易にするために、設定されたメモリ フレームの動的プールが自動的に維持されます。
私たちのアプローチは、大きなポーズの変更、部分的および完全なオクルージョン、テクスチャのない表面、スペキュラー ハイライトを含む難しいシーケンスを処理します。
HO3D、YCBInEOAT、および BEHAVE データセットの結果を示し、この方法が既存のアプローチよりも大幅に優れていることを示しています。
プロジェクトページ: https://bundlesdf.github.io

要約(オリジナル)

We present a near real-time method for 6-DoF tracking of an unknown object from a monocular RGBD video sequence, while simultaneously performing neural 3D reconstruction of the object. Our method works for arbitrary rigid objects, even when visual texture is largely absent. The object is assumed to be segmented in the first frame only. No additional information is required, and no assumption is made about the interaction agent. Key to our method is a Neural Object Field that is learned concurrently with a pose graph optimization process in order to robustly accumulate information into a consistent 3D representation capturing both geometry and appearance. A dynamic pool of posed memory frames is automatically maintained to facilitate communication between these threads. Our approach handles challenging sequences with large pose changes, partial and full occlusion, untextured surfaces, and specular highlights. We show results on HO3D, YCBInEOAT, and BEHAVE datasets, demonstrating that our method significantly outperforms existing approaches. Project page: https://bundlesdf.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google