RoCap: A Robotic Data Collection Pipeline for the Pose Estimation of Appearance-Changing Objects

要約

オブジェクトの姿勢推定は、ユーザーが有形オブジェクトをコントローラーとして操作する場合、複合現実インタラクションにおいて重要な役割を果たします。
従来の視覚ベースの物体の姿勢推定方法は、3D 再構成を活用してトレーニング データを合成します。
ただし、これらの方法は拡散色の静的オブジェクト向けに設計されており、ぬいぐるみなどの変形可能なオブジェクト、化学フラスコなどの透明なオブジェクト、金属ピッチャーなどの反射オブジェクト、および
はさみ。
この制限に対処するために、我々は、グラウンド トゥルースの姿勢情報でラベル付けされたデータを生成しながら、ターゲット オブジェクトの人間の操作をエミュレートするロボット パイプラインである Rocap を提案します。
ユーザーはまず対象物体をロボットアームに渡すと、システムはさまざまな 6D 構成で対象物の写真を多数撮影します。
このシステムは、キャプチャされた画像と、ロボット アームの関節角度から自動的に計算されたそのグラウンド トゥルースの姿勢情報を使用してモデルをトレーニングします。
収集したデータを使用して単純な深層学習モデルをトレーニングし、その結果を定量的および定性的評価を介して 3D 再構成に基づく合成データでトレーニングされたモデルと比較することにより、外観が変化するオブジェクトの姿勢推定を紹介します。
この調査結果は、Rocap の有望な機能を強調しています。

要約(オリジナル)

Object pose estimation plays a vital role in mixed-reality interactions when users manipulate tangible objects as controllers. Traditional vision-based object pose estimation methods leverage 3D reconstruction to synthesize training data. However, these methods are designed for static objects with diffuse colors and do not work well for objects that change their appearance during manipulation, such as deformable objects like plush toys, transparent objects like chemical flasks, reflective objects like metal pitchers, and articulated objects like scissors. To address this limitation, we propose Rocap, a robotic pipeline that emulates human manipulation of target objects while generating data labeled with ground truth pose information. The user first gives the target object to a robotic arm, and the system captures many pictures of the object in various 6D configurations. The system trains a model by using captured images and their ground truth pose information automatically calculated from the joint angles of the robotic arm. We showcase pose estimation for appearance-changing objects by training simple deep-learning models using the collected data and comparing the results with a model trained with synthetic data based on 3D reconstruction via quantitative and qualitative evaluation. The findings underscore the promising capabilities of Rocap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google