Comparative Evaluation of 3D Reconstruction Methods for Object Pose Estimation

要約

オブジェクトの姿勢推定は、ロボット操作、ナビゲーション、拡張現実を含む多くの産業用途に不可欠です。
現在の一般化可能なオブジェクト姿勢推定器、つまりオブジェクトごとにトレーニングする必要のないアプローチは、正確な 3D モデルに依存しています。
主に CAD モデルが使用されますが、実際には入手が困難な場合があります。
同時に、物体の画像を取得することも可能です。
当然のことながら、これは、画像から再構成された 3D モデルが正確なオブジェクトの姿勢推定を容易にするのに十分であるかどうかという疑問につながります。
私たちは、姿勢推定の精度に対する 3D 再構成の品質の影響を測定するための新しいベンチマークを提案することで、この質問に答えることを目指しています。
私たちのベンチマークは、BOP ベンチマーク形式で姿勢評価を行うために、YCB-V データセットのテスト画像に登録されたオブジェクト再構築用の校正済み画像を提供します。
複数の最先端の 3D 再構成およびオブジェクトの姿勢推定アプローチを使用した詳細な実験により、最新の再構成手法によって生成されたジオメトリが、正確な姿勢推定には十分であることが多いことが示されています。
私たちの実験は興味深い観察結果につながります: (1) 3D 再構成の品質を測定するための標準的な指標は、必ずしも姿勢推定の精度を示すものではなく、これは私たちのような専用のベンチマークの必要性を示しています。
(2) 古典的な非学習ベースのアプローチは、現代の学習ベースの再構成技術と同等の性能を発揮でき、より優れた再構成時間と姿勢の精度のトレードオフを提供することもできます。
(3) 再構築されたモデルと CAD モデルのパフォーマンスの間には、依然として大きなギャップがあります。
このギャップを埋めるための研究を促進するために、私たちのベンチマークは https://github.com/VarunBurde/reconstruction_pose_benchmark} で公開されています。

要約(オリジナル)

Object pose estimation is essential to many industrial applications involving robotic manipulation, navigation, and augmented reality. Current generalizable object pose estimators, i.e., approaches that do not need to be trained per object, rely on accurate 3D models. Predominantly, CAD models are used, which can be hard to obtain in practice. At the same time, it is often possible to acquire images of an object. Naturally, this leads to the question whether 3D models reconstructed from images are sufficient to facilitate accurate object pose estimation. We aim to answer this question by proposing a novel benchmark for measuring the impact of 3D reconstruction quality on pose estimation accuracy. Our benchmark provides calibrated images for object reconstruction registered with the test images of the YCB-V dataset for pose evaluation under the BOP benchmark format. Detailed experiments with multiple state-of-the-art 3D reconstruction and object pose estimation approaches show that the geometry produced by modern reconstruction methods is often sufficient for accurate pose estimation. Our experiments lead to interesting observations: (1) Standard metrics for measuring 3D reconstruction quality are not necessarily indicative of pose estimation accuracy, which shows the need for dedicated benchmarks such as ours. (2) Classical, non-learning-based approaches can perform on par with modern learning-based reconstruction techniques and can even offer a better reconstruction time-pose accuracy tradeoff. (3) There is still a sizable gap between performance with reconstructed and with CAD models. To foster research on closing this gap, our benchmark is publicly available at https://github.com/VarunBurde/reconstruction_pose_benchmark}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google