TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose Estimation

要約

この論文では、合成データといくつかのラベルのない実画像からの6Dオブジェクトポーズ推定のためのニューラルテクスチャ学習を紹介します。
私たちの主な貢献は、以前の研究の欠点、すなわち共同モダリティまたは追加の洗練への強い依存を取り除く新しい学習スキームです。
これらは、以前は収束のためのトレーニング信号を提供するために必要でした。
テクスチャ学習とポーズ学習に関する2つのサブ最適化問題として、このようなスキームを定式化します。
実際の画像コレクションからオブジェクトのリアルなテクスチャを予測することを個別に学習し、ピクセルパーフェクトな合成データから姿勢推定を学習します。
これら 2 つの機能を組み合わせることで、フォトリアリスティックな斬新なビューを合成し、正確なジオメトリで姿勢推定器を監視できます。
テクスチャ学習フェーズ中に存在するポーズ ノイズとセグメンテーションの不完全性を軽減するために、合成データからのテクスチャ正則化とともに、サーフェル ベースの敵対的トレーニング ロスを提案します。
提案されたアプローチが、グラウンド トゥルース ポーズ アノテーションを使用しない最近の最先端の方法よりも大幅に優れていることを実証し、目に見えないシーンに対する大幅な一般化の改善を実証します。
驚くべきことに、私たちのスキームは、はるかに劣ったパフォーマンスで初期化された場合でも、採用された姿勢推定器を大幅に改善します。

要約(オリジナル)

In this paper, we introduce neural texture learning for 6D object pose estimation from synthetic data and a few unlabelled real images. Our major contribution is a novel learning scheme which removes the drawbacks of previous works, namely the strong dependency on co-modalities or additional refinement. These have been previously necessary to provide training signals for convergence. We formulate such a scheme as two sub-optimisation problems on texture learning and pose learning. We separately learn to predict realistic texture of objects from real image collections and learn pose estimation from pixel-perfect synthetic data. Combining these two capabilities allows then to synthesise photorealistic novel views to supervise the pose estimator with accurate geometry. To alleviate pose noise and segmentation imperfection present during the texture learning phase, we propose a surfel-based adversarial training loss together with texture regularisation from synthetic data. We demonstrate that the proposed approach significantly outperforms the recent state-of-the-art methods without ground-truth pose annotations and demonstrates substantial generalisation improvements towards unseen scenes. Remarkably, our scheme improves the adopted pose estimators substantially even when initialised with much inferior performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google