Imitrob: Imitation Learning Dataset for Training and Evaluating 6D Object Pose Estimators

要約

このホワイト ペーパーでは、標準の RGB カメラでキャプチャされたタスク デモンストレーションでハンドヘルド ツールの 6D 姿勢推定の方法をトレーニングおよび評価するためのデータセットを紹介します。
6D ポーズ推定方法の大幅な進歩にもかかわらず、それらのパフォーマンスは通常、非常に遮られたオブジェクトに対して制限されます。これは、操作する手によってオブジェクトが通常部分的に遮られる模倣学習の一般的なケースです。
現在、これらの条件に対する堅牢な 6D 姿勢推定方法の開発を可能にするデータセットが不足しています。
この問題を克服するために、人間がツールを保持してタスクを実行する模倣学習やその他のアプリケーションでの 6D ポーズ推定を目的とした新しいデータセット (Imitrob) を収集します。
このデータセットには、3 つの異なるツールのイメージ シーケンスと、2 つのカメラ視点、4 人の被験者、左右の手による 6 つの操作タスクが含まれています。
各画像には、HTC Vive モーション トラッキング デバイスによって取得された 6D オブジェクト ポーズの正確なグラウンド トゥルース測定が付随しています。
データセットの使用は、さまざまな設定で最近の 6D オブジェクト姿勢推定法 (DOPE) をトレーニングおよび評価することによって実証されています。
データセットとコードは、http://imitrob.ciirc.cvut.cz/imitrobdataset.php で公開されています。

要約(オリジナル)

This paper introduces a dataset for training and evaluating methods for 6D pose estimation of hand-held tools in task demonstrations captured by a standard RGB camera. Despite the significant progress of 6D pose estimation methods, their performance is usually limited for heavily occluded objects, which is a common case in imitation learning where the object is typically partially occluded by the manipulating hand. Currently, there is a lack of datasets that would enable the development of robust 6D pose estimation methods for these conditions. To overcome this problem, we collect a new dataset (Imitrob) aimed at 6D pose estimation in imitation learning and other applications where a human holds a tool and performs a task. The dataset contains image sequences of three different tools and six manipulation tasks with two camera viewpoints, four human subjects, and left/right hand. Each image is accompanied by an accurate ground truth measurement of the 6D object pose, obtained by the HTC Vive motion tracking device. The use of the dataset is demonstrated by training and evaluating a recent 6D object pose estimation method (DOPE) in various setups. The dataset and code are publicly available at http://imitrob.ciirc.cvut.cz/imitrobdataset.php.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google