DVMNet: Computing Relative Pose for Unseen Objects Beyond Hypotheses

要約

2 つの画像間の物体の相対的な姿勢を決定することは、一般化可能な物体の姿勢推定を成功させるために極めて重要です。
既存のアプローチは通常、多数の離散姿勢仮説を使用して連続姿勢表現を近似するため、テスト時に各仮説をスコアリングするという計算コストのかかるプロセスが発生します。
対照的に、我々は、姿勢仮説の必要性を排除し、単一パスで相対的なオブジェクトの姿勢を計算するディープ ボクセル マッチング ネットワーク (DVMNet) を提案します。
この目的を達成するために、2 つの入力 RGB 画像 (リファレンスとクエリ) をそれぞれのボクセル化された 3D 表現にマッピングします。
次に、結果のボクセルを姿勢推定モジュールに渡します。そこでボクセルは位置合わせされ、最小二乗問題を解くことによってエンドツーエンドの方法で姿勢が計算されます。
堅牢性を高めるために、ノイズの多いボクセルの影響を軽減できる加重最近接ボクセル アルゴリズムを導入します。
私たちは CO3D、LINEMOD、Objaverse データセットに対して広範な実験を実施し、私たちの方法が最先端の方法と比較して低い計算コストで新しい物体のより正確な相対姿勢推定を提供できることを実証しました。
私たちのコードは https://github.com/sailor-z/DVMNet/ でリリースされています。

要約(オリジナル)

Determining the relative pose of an object between two images is pivotal to the success of generalizable object pose estimation. Existing approaches typically approximate the continuous pose representation with a large number of discrete pose hypotheses, which incurs a computationally expensive process of scoring each hypothesis at test time. By contrast, we present a Deep Voxel Matching Network (DVMNet) that eliminates the need for pose hypotheses and computes the relative object pose in a single pass. To this end, we map the two input RGB images, reference and query, to their respective voxelized 3D representations. We then pass the resulting voxels through a pose estimation module, where the voxels are aligned and the pose is computed in an end-to-end fashion by solving a least-squares problem. To enhance robustness, we introduce a weighted closest voxel algorithm capable of mitigating the impact of noisy voxels. We conduct extensive experiments on the CO3D, LINEMOD, and Objaverse datasets, demonstrating that our method delivers more accurate relative pose estimates for novel objects at a lower computational cost compared to state-of-the-art methods. Our code is released at: https://github.com/sailor-z/DVMNet/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google