Predictive Visuo-Tactile Interactive Perception Framework for Object Properties Inference

要約

剛性、質量、重心、摩擦係数、形状などの物体の未知の物理的特性をインタラクティブに探索することは、非構造化環境で継続的に動作する自律ロボット システムにとって重要です。
これらの特性を正確に特定することは、物体を安定して制御された方法で操作するために不可欠であり、押す、引く、持ち上げるなどの（掴めるまたは掴めない）操作動作の結果を予測するためにも必要です。私たちの研究は、自律的に行​​うことに焦点を当てています。
視覚センサーと触覚センサーを備えたロボット システムを利用して、さまざまな均質、異質、関節状の物体のセットの物理的特性を推測します。
我々は、多様な探索アクション（非把握的押しと把握的引っ張り）を活用することにより、多様な物体の物体特性を識別するための新しい予測知覚フレームワークを提案します。
フレームワークの一部として、探索をシームレスに開始するための新しいアクティブな形状認識を提案します。
グラフ ニューラル ネットワークを使用した革新的な双微分可能フィルタリングは、オブジェクトとロボットの相互作用を学習し、間接的に観察可能な時間不変のオブジェクト プロパティの一貫した推論を実行します。
さらに、効率的な学習と推論のために最も有益なアクションを積極的に選択する $N$ ステップの情報獲得アプローチを定式化します。
平面物体を使った広範な実際のロボット実験により、当社の予測知覚フレームワークが最先端のベースラインよりも優れたパフォーマンスをもたらすことが示され、i) 物体追跡、ii) 目標主導型タスク、および
iii) 環境の変化の検出。

要約(オリジナル)

Interactive exploration of the unknown physical properties of objects such as stiffness, mass, center of mass, friction coefficient, and shape is crucial for autonomous robotic systems operating continuously in unstructured environments. Precise identification of these properties is essential to manipulate objects in a stable and controlled way, and is also required to anticipate the outcomes of (prehensile or non-prehensile) manipulation actions such as pushing, pulling, lifting, etc. Our study focuses on autonomously inferring the physical properties of a diverse set of various homogeneous, heterogeneous, and articulated objects utilizing a robotic system equipped with vision and tactile sensors. We propose a novel predictive perception framework for identifying object properties of the diverse objects by leveraging versatile exploratory actions: non-prehensile pushing and prehensile pulling. As part of the framework, we propose a novel active shape perception to seamlessly initiate exploration. Our innovative dual differentiable filtering with Graph Neural Networks learns the object-robot interaction and performs consistent inference of indirectly observable time-invariant object properties. In addition, we formulate a $N$-step information gain approach to actively select the most informative actions for efficient learning and inference. Extensive real-robot experiments with planar objects show that our predictive perception framework results in better performance than the state-of-the-art baseline and demonstrate our framework in three major applications for i) object tracking, ii) goal-driven task, and iii) change in environment detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google