NeuSurfEmb: A Complete Pipeline for Dense Correspondence-based 6D Object Pose Estimation without CAD Models

要約

6D オブジェクトの姿勢推定のための最先端のアプローチでは、CAD モデルが利用できることを前提としており、ユーザーは合成トレーニング データ生成用の物理ベース レンダリング (PBR) パイプラインを手動で設定する必要があります。
どちらの要因も、現実世界のシナリオでのこれらの手法の適用を制限します。
この研究では、CAD モデルを必要とせず、入力として少数の実画像のみを必要とする最先端の姿勢推定器のトレーニングを可能にするパイプラインを紹介します。
私たちの手法は NeuS2 オブジェクト表現に基づいており、Structure-from-Motion (SfM) とオブジェクトに依存しないセグメンテーションに基づく半自動手順を通じて学習します。
NeuS2 の斬新なビュー合成機能と単純なカット アンド ペーストの拡張機能を利用して、フォトリアリスティックなオブジェクト レンダリングを自動的に生成します。これを使用して、対応ベースの SurfEmb ポーズ推定器をトレーニングします。
私たちは LINEMOD-Occlusion データセットに対する手法を評価し、その個々のコンポーネントの影響を広範囲に研究し、CAD モデルと PBR データに基づくアプローチに関して競合パフォーマンスを示します。
さらに、自己収集した現実世界のオブジェクトに対するパイプラインの使いやすさと有効性を実証し、私たちの方法が最先端の CAD モデルを使用しないアプローチよりも優れており、軽度の閉塞に対する精度と堅牢性が優れていることを示しています。
ロボット工学コミュニティがこのシステムの恩恵を受けられるように、https://www.github.com/ethz-asl/neusurfemb で一般公開します。

要約(オリジナル)

State-of-the-art approaches for 6D object pose estimation assume the availability of CAD models and require the user to manually set up physically-based rendering (PBR) pipelines for synthetic training data generation. Both factors limit the application of these methods in real-world scenarios. In this work, we present a pipeline that does not require CAD models and allows training a state-of-the-art pose estimator requiring only a small set of real images as input. Our method is based on a NeuS2 object representation, that we learn through a semi-automated procedure based on Structure-from-Motion (SfM) and object-agnostic segmentation. We exploit the novel-view synthesis ability of NeuS2 and simple cut-and-paste augmentation to automatically generate photorealistic object renderings, which we use to train the correspondence-based SurfEmb pose estimator. We evaluate our method on the LINEMOD-Occlusion dataset, extensively studying the impact of its individual components and showing competitive performance with respect to approaches based on CAD models and PBR data. We additionally demonstrate the ease of use and effectiveness of our pipeline on self-collected real-world objects, showing that our method outperforms state-of-the-art CAD-model-free approaches, with better accuracy and robustness to mild occlusions. To allow the robotics community to benefit from this system, we will publicly release it at https://www.github.com/ethz-asl/neusurfemb.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google