PixTrack: Precise 6DoF Object Pose Tracking using NeRF Templates and Feature-metric Alignment

要約

我々は、斬新なビュー合成と詳細な特徴とメトリックの調整を使用した、ビジョンベースのオブジェクト姿勢追跡フレームワークである PixTrack を紹介します。
私たちは SfM ベースの再局在化パラダイムに従い、ニューラル ラディアンス フィールドを使用して追跡対象を標準的に表現します。
私たちの評価は、私たちの方法が、データの注釈や軌跡の平滑化を必要とせずに、単眼の RGB 画像と RGB-D 画像の両方でオブジェクトの高精度、堅牢、ジッターのない 6DoF 姿勢推定を生成することを示しています。
私たちの方法は計算効率も高く、単純な CPU マルチプロセッシングを通じてアルゴリズムを変更することなく、複数のオブジェクトの追跡を簡単に行うことができます。
私たちのコードはhttps://github.com/GiantAI/pixtrackから入手できます。

要約(オリジナル)

We present PixTrack, a vision based object pose tracking framework using novel view synthesis and deep feature-metric alignment. We follow an SfM-based relocalization paradigm where we use a Neural Radiance Field to canonically represent the tracked object. Our evaluations demonstrate that our method produces highly accurate, robust, and jitter-free 6DoF pose estimates of objects in both monocular RGB images and RGB-D images without the need of any data annotation or trajectory smoothing. Our method is also computationally efficient making it easy to have multi-object tracking with no alteration to our algorithm through simple CPU multiprocessing. Our code is available at: https://github.com/GiantAI/pixtrack

arxiv情報

提供元, 利用サービス

arxiv.jp, Google