KRF: Keypoint Refinement with Fusion Network for 6D Pose Estimation

要約

ICP やそのバリアントなど、制御可能な姿勢調整量を備えたいくつかの堅牢な点群登録アプローチは、6D 姿勢推定の精度を向上させるために一般的に使用されます。
ただし、これらの方法の有効性は、深層学習技術の進歩と初期ポーズの精度の向上に伴って徐々に減少します。これは、主にポーズを調整するための特定の設計が欠如しているためです。
この論文では、6D 姿勢推定のための新しい姿勢調整パイプラインである Point Cloud Completion and Keypoint Refinement with Fusion Data (PCKRF) を提案します。
パイプラインは 2 つのステップで構成されます。
まず、新しい姿勢依存点完成ネットワークを介して入力点群を完成させます。
ネットワークは、ポイントの完了中にポーズ情報を含むローカル フィーチャとグローバル フィーチャの両方を使用します。
次に、私たちが提案する Color Supported Iterative KeyPoint (CIKP) メソッドによって、完成したオブジェクト点群を対応するターゲット点群に登録します。
CIKP 方法では、レジストレーションに色情報が導入され、安定性を高めるために各キーポイントの周囲に点群が登録されます。
PCKRF パイプラインは、フルフロー双方向フュージョン ネットワークなどの既存の一般的な 6D 姿勢推定方法と統合して、姿勢推定の精度をさらに向上させることができます。
実験により、比較的高い精度で初期ポーズを最適化する場合、私たちの方法は既存のアプローチと比較して優れた安定性を示すことが実証されました。
特に、結果は、私たちの方法がほとんどの既存の姿勢推定技術を効果的に補完し、ほとんどの場合のパフォーマンスの向上につながることを示しています。
さらに、私たちの方法は、テクスチャのない対称オブジェクトを含む困難なシナリオでも有望な結果を達成します。
私たちのソースコードは https://github.com/zhanhz/KRF で入手できます。

要約(オリジナル)

Some robust point cloud registration approaches with controllable pose refinement magnitude, such as ICP and its variants, are commonly used to improve 6D pose estimation accuracy. However, the effectiveness of these methods gradually diminishes with the advancement of deep learning techniques and the enhancement of initial pose accuracy, primarily due to their lack of specific design for pose refinement. In this paper, we propose Point Cloud Completion and Keypoint Refinement with Fusion Data (PCKRF), a new pose refinement pipeline for 6D pose estimation. The pipeline consists of two steps. First, it completes the input point clouds via a novel pose-sensitive point completion network. The network uses both local and global features with pose information during point completion. Then, it registers the completed object point cloud with the corresponding target point cloud by our proposed Color supported Iterative KeyPoint (CIKP) method. The CIKP method introduces color information into registration and registers a point cloud around each keypoint to increase stability. The PCKRF pipeline can be integrated with existing popular 6D pose estimation methods, such as the full flow bidirectional fusion network, to further improve their pose estimation accuracy. Experiments demonstrate that our method exhibits superior stability compared to existing approaches when optimizing initial poses with relatively high precision. Notably, the results indicate that our method effectively complements most existing pose estimation techniques, leading to improved performance in most cases. Furthermore, our method achieves promising results even in challenging scenarios involving textureless and symmetrical objects. Our source code is available at https://github.com/zhanhz/KRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google