VAPO: Visibility-Aware Keypoint Localization for Efficient 6DoF Object Pose Estimation

要約

2D 画像内の事前定義された 3D キーポイントの位置を特定することは、6DoF オブジェクトの姿勢推定の 3D-2D 対応を確立する効果的な方法です。
ただし、目に見えないキーポイントの信頼性の低い位置特定結果は、通信の品質を低下させます。
このペーパーでは、可視性の観点から重要なキーポイントを特定することで、この問題に対処します。
現在、キーポイントの可視性情報がデータセット収集プロセスに欠落しているため、非対称オブジェクトと対称オブジェクトの両方のキーポイントに対して、利用可能なオブジェクトレベルのアノテーションからバイナリ可視性ラベルを生成する効率的な方法を提案します。
さらに、PageRank アルゴリズムに基づいて、バイナリ ラベルから実数値の可視性を考慮した重要度を導き出します。
可視性を考慮した重要性の柔軟性を利用して、追加の位置エンコーディングとともに、可視性を考慮した重要性を最先端の姿勢推定アルゴリズムと統合することにより、VAPO (可視性を考慮した POse 推定器) を構築します。
VAPO は、CAD ベースの設定と CAD を使用しない設定の両方で動作します。
Linemod、Linemod-Occlusion、YCB-V などの一般的な姿勢推定ベンチマークについて広範な実験が行われています。
結果は、VAPO がキーポイントの対応と最終推定ポーズの両方を大幅に改善し、明らかに最先端のパフォーマンスを達成していることを示しています。

要約(オリジナル)

Localizing predefined 3D keypoints in a 2D image is an effective way to establish 3D-2D correspondences for 6DoF object pose estimation. However, unreliable localization results of invisible keypoints degrade the quality of correspondences. In this paper, we address this issue by localizing the important keypoints in terms of visibility. Since keypoint visibility information is currently missing in the dataset collection process, we propose an efficient way to generate binary visibility labels from available object-level annotations, for keypoints of both asymmetric objects and symmetric objects. We further derive real-valued visibility-aware importance from binary labels based on the PageRank algorithm. Taking advantage of the flexibility of our visibility-aware importance, we construct VAPO (Visibility-Aware POse estimator) by integrating the visibility-aware importance with a state-of-the-art pose estimation algorithm, along with additional positional encoding. VAPO can work in both CAD-based and CAD-free settings. Extensive experiments are conducted on popular pose estimation benchmarks including Linemod, Linemod-Occlusion, and YCB-V. The results show that, VAPO significantly improves both the keypoint correspondences and final estimated poses, and clearly achieves state-of-the-art performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google