Touch if it’s transparent! ACTOR: Active Tactile-based Category-Level Transparent Object Reconstruction

要約

透明なオブジェクトの正確な形状の再構築は、非ランバート曲面であるため困難な作業ですが、正確な姿勢認識と安全な操作のためにロボットには必要です。
視覚ベースのセンシングでは透明な物体の誤った測定が行われる可能性があるため、触覚モダリティは物体の透明度に影響されず、物体の形状を再構成するために使用できます。
我々は、ACTive 触覚ベースのカテゴリレベルの透明オブジェクト再構成のための新しいフレームワークである ACTOR を提案します。
実世界の触覚データの収集は法外に高価であるため、ACTOR は、物体形状の再構築に当社が提案する自己教師あり学習アプローチを使用して、合成物体の大規模なデータセットを活用します。
ACTOR は、カテゴリレベルの未知の透明オブジェクトからの触覚データを使用した推論中に、再構築のために使用できます。
さらに、物体表面のあらゆる部分を探査することはサンプル効率が悪い可能性があるため、能動触覚物体探索戦略を提案します。
また、ACTOR を使用した触覚ベースのカテゴリレベルの物体の姿勢推定タスクも示します。
私たちは、最先端のアプローチとの包括的な比較研究を伴う実際のロボット実験を使用して、提案した方法論の広範な評価を実行します。
私たちが提案した方法は、触覚に基づく物体の再構築と物体の姿勢推定の点で、これらのアプローチよりも優れています。

要約(オリジナル)

Accurate shape reconstruction of transparent objects is a challenging task due to their non-Lambertian surfaces and yet necessary for robots for accurate pose perception and safe manipulation. As vision-based sensing can produce erroneous measurements for transparent objects, the tactile modality is not sensitive to object transparency and can be used for reconstructing the object’s shape. We propose ACTOR, a novel framework for ACtive tactile-based category-level Transparent Object Reconstruction. ACTOR leverages large datasets of synthetic object with our proposed self-supervised learning approach for object shape reconstruction as the collection of real-world tactile data is prohibitively expensive. ACTOR can be used during inference with tactile data from category-level unknown transparent objects for reconstruction. Furthermore, we propose an active-tactile object exploration strategy as probing every part of the object surface can be sample inefficient. We also demonstrate tactile-based category-level object pose estimation task using ACTOR. We perform an extensive evaluation of our proposed methodology with real-world robotic experiments with comprehensive comparison studies with state-of-the-art approaches. Our proposed method outperforms these approaches in terms of tactile-based object reconstruction and object pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google