EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation

要約

Perspective-n-Point (PnP) を介して単一の RGB 画像から 3D オブジェクトを見つけることは、コンピューター ビジョンにおける長年の問題です。
エンドツーエンドの深層学習によって推進される最近の研究では、PnP を微分可能な層として解釈し、姿勢損失の勾配を逆伝播することによって 2D と 3D の点の対応関係を部分的に学習できることが示唆されています。
しかし、対応関係全体をゼロから学習することは、特に曖昧なポーズの解決策の場合、非常に困難です。
ポイント。
この論文では、一般的なエンドツーエンド姿勢推定のための確率的 PnP 層である EPro-PnP を提案します。これは、SE(3) 多様体上で微分可能な確率密度で姿勢の分布を出力します。
2D-3D 座標および対応する重みは、予測姿勢分布とターゲット姿勢分布の間の KL 発散を最小限に抑えることによって学習された中間変数として扱われます。
基礎となる原理は以前のアプローチを一般化したものであり、注意のメカニズムに似ています。
EPro-PnP は既存の通信ネットワークを強化し、PnP ベースの手法と LineMOD 6DoF 姿勢推定ベンチマークにおけるタスク固有のリーダーとの間のギャップを埋めることができます。
さらに、EPro-PnP は、nuScenes 3D オブジェクト検出ベンチマークで最先端のポーズ精度を備えた新しい変形可能な対応ネットワークを実証するため、ネットワーク設計の新たな可能性を探求するのに役立ちます。
私たちのコードは https://github.com/tjiiv-cprg/EPro-PnP-v2 で入手できます。

要約(オリジナル)

Locating 3D objects from a single RGB image via Perspective-n-Point (PnP) is a long-standing problem in computer vision. Driven by end-to-end deep learning, recent studies suggest interpreting PnP as a differentiable layer, allowing for partial learning of 2D-3D point correspondences by backpropagating the gradients of pose loss. Yet, learning the entire correspondences from scratch is highly challenging, particularly for ambiguous pose solutions, where the globally optimal pose is theoretically non-differentiable w.r.t. the points. In this paper, we propose the EPro-PnP, a probabilistic PnP layer for general end-to-end pose estimation, which outputs a distribution of pose with differentiable probability density on the SE(3) manifold. The 2D-3D coordinates and corresponding weights are treated as intermediate variables learned by minimizing the KL divergence between the predicted and target pose distribution. The underlying principle generalizes previous approaches, and resembles the attention mechanism. EPro-PnP can enhance existing correspondence networks, closing the gap between PnP-based method and the task-specific leaders on the LineMOD 6DoF pose estimation benchmark. Furthermore, EPro-PnP helps to explore new possibilities of network design, as we demonstrate a novel deformable correspondence network with the state-of-the-art pose accuracy on the nuScenes 3D object detection benchmark. Our code is available at https://github.com/tjiiv-cprg/EPro-PnP-v2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google