EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation

要約

Perspective-n-Point (PnP) を介して単一の RGB 画像から 3D オブジェクトを特定することは、コンピューター ビジョンにおける長年の問題です。
エンドツーエンドの深層学習によって駆動される最近の研究では、PnP を微分可能なレイヤーとして解釈し、ポーズ ロスの勾配を逆伝播することで 2D-3D 点対応の部分学習を可能にすることが提案されています。
しかし、対応関係全体をゼロから学習することは非常に困難です。特に、グローバルに最適なポーズが理論的に微分可能であるあいまいなポーズ ソリューションの場合は、非常に困難です。
ポイント。
この論文では、一般的なエンドツーエンドのポーズ推定のための確率論的 PnP レイヤーである EPro-PnP を提案します。
2D-3D 座標と対応する重みは、予測されたポーズ分布とターゲット ポーズ分布の間の KL 発散を最小化することによって学習された中間変数として扱われます。
根底にある原則は、以前のアプローチを一般化し、注意メカニズムに似ています。
EPro-PnP は既存の対応ネットワークを強化し、PnP ベースの方法と LineMOD 6DoF ポーズ推定ベンチマークのタスク固有のリーダーとの間のギャップを埋めることができます。
さらに、EPro-PnP は、nuScenes 3D オブジェクト検出ベンチマークで最先端のポーズ精度を備えた新しい変形可能な対応ネットワークを実証するため、ネットワーク設計の新しい可能性を探求するのに役立ちます。
コードは https://github.com/tjiiv-cprg/EPro-PnP-v2 で入手できます。

要約(オリジナル)

Locating 3D objects from a single RGB image via Perspective-n-Point (PnP) is a long-standing problem in computer vision. Driven by end-to-end deep learning, recent studies suggest interpreting PnP as a differentiable layer, allowing for partial learning of 2D-3D point correspondences by backpropagating the gradients of pose loss. Yet, learning the entire correspondences from scratch is highly challenging, particularly for ambiguous pose solutions, where the globally optimal pose is theoretically non-differentiable w.r.t. the points. In this paper, we propose the EPro-PnP, a probabilistic PnP layer for general end-to-end pose estimation, which outputs a distribution of pose with differentiable probability density on the SE(3) manifold. The 2D-3D coordinates and corresponding weights are treated as intermediate variables learned by minimizing the KL divergence between the predicted and target pose distribution. The underlying principle generalizes previous approaches, and resembles the attention mechanism. EPro-PnP can enhance existing correspondence networks, closing the gap between PnP-based method and the task-specific leaders on the LineMOD 6DoF pose estimation benchmark. Furthermore, EPro-PnP helps to explore new possibilities of network design, as we demonstrate a novel deformable correspondence network with the state-of-the-art pose accuracy on the nuScenes 3D object detection benchmark. Our code is available at https://github.com/tjiiv-cprg/EPro-PnP-v2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google