Category-Level 6D Object Pose Estimation in the Wild: A Semi-Supervised Learning Approach and A New Dataset

要約

6Dオブジェクトのポーズ推定は、コンピュータービジョンおよびロボット工学の研究における基本的な問題の1つです。
同じカテゴリ内の新しいオブジェクトインスタンスにポーズ推定を一般化するために最近多くの努力がなされてきましたが、つまり、カテゴリレベルの6Dポーズ推定は、注釈付きデータの数が限られているため、制約のある環境では依然として制限されています。
このホワイトペーパーでは、さまざまなインスタンスと背景を持つ新しいラベルなしRGBDオブジェクトビデオデータセットであるWild6Dを収集します。
このデータを利用して、半教師あり学習を使用した野生のカテゴリレベルの6Dオブジェクトポーズ推定を一般化します。
Rendering for Pose推定ネットワークRePoNetと呼ばれる新しいモデルを提案します。これは、合成データと自由グラウンドトゥルース、および実世界データのシルエットマッチング目的関数を使用して共同でトレーニングされます。
実際のデータに3Dアノテーションを使用しない場合、このメソッドは、以前のデータセットおよびWild6Dテストセット（評価用の手動アノテーションを使用）の最先端のメソッドを大幅に上回ります。
Wild6Dデータを含むプロジェクトページ：https：//oasisyang.github.io/semi-pose。

要約(オリジナル)

6D object pose estimation is one of the fundamental problems in computer vision and robotics research. While a lot of recent efforts have been made on generalizing pose estimation to novel object instances within the same category, namely category-level 6D pose estimation, it is still restricted in constrained environments given the limited number of annotated data. In this paper, we collect Wild6D, a new unlabeled RGBD object video dataset with diverse instances and backgrounds. We utilize this data to generalize category-level 6D object pose estimation in the wild with semi-supervised learning. We propose a new model, called Rendering for Pose estimation network RePoNet, that is jointly trained using the free ground-truths with the synthetic data, and a silhouette matching objective function on the real-world data. Without using any 3D annotations on real data, our method outperforms state-of-the-art methods on the previous dataset and our Wild6D test set (with manual annotations for evaluation) by a large margin. Project page with Wild6D data: https://oasisyang.github.io/semi-pose .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google