PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation

要約

触覚センシングは、人間の器用な操作に不可欠ですが、ロボット工学では広く使用されていません。
コンパクトで低コストのセンシングプラットフォームは変化を促進できますが、人気のある光学式のカウンターパートとは異なり、信号の次元が低く、シミュレーションモデルがないため、高忠実度のタスクに展開することは困難です。
これらの課題を克服するために、高次元の構造情報を低次元センサー信号にリンクするPseudotouchを導入します。
これは、低次元の視覚触覚埋め込みを学習することでそうします。そこでは、触覚信号を解読する深さパッチをエンコードします。
8つの基本的な幾何学的形状のランダムな接触によって得られた整列した触覚と視覚データのペアを含むデータセットでPseudotouchを収集して訓練します。
オブジェクト認識と安定性予測の把握という2つの下流タスクで、訓練されたPseudotouchモデルの有用性を実証します。
オブジェクト認識タスクでは、5つの基本的な幾何学的形状と5つの家庭用オブジェクトのセットで、学習した埋め込みのパフォーマンスを評価します。
Pseudotouchを使用して、わずか10回のタッチの後、オブジェクト認識の精度84％を達成し、固有受容ベースラインを上回ります。
把握安定性タスクでは、頭字語ラベルを使用して、仮想深度情報から派生したPseudotouchの予測を使用して、成功予測子を把握および評価します。
私たちのアプローチは、部分ポイントクラウドデータに依存しているベースラインと比較して、精度が32％絶対的な改善をもたらします。
データ、コード、トレーニングモデルをhttps://pseudotouch.cs.uni-freiburg.deで公開しています。

要約(オリジナル)

Tactile sensing is vital for human dexterous manipulation, however, it has not been widely used in robotics. Compact, low-cost sensing platforms can facilitate a change, but unlike their popular optical counterparts, they are difficult to deploy in high-fidelity tasks due to their low signal dimensionality and lack of a simulation model. To overcome these challenges, we introduce PseudoTouch which links high-dimensional structural information to low-dimensional sensor signals. It does so by learning a low-dimensional visual-tactile embedding, wherein we encode a depth patch from which we decode the tactile signal. We collect and train PseudoTouch on a dataset comprising aligned tactile and visual data pairs obtained through random touching of eight basic geometric shapes. We demonstrate the utility of our trained PseudoTouch model in two downstream tasks: object recognition and grasp stability prediction. In the object recognition task, we evaluate the learned embedding’s performance on a set of five basic geometric shapes and five household objects. Using PseudoTouch, we achieve an object recognition accuracy 84% after just ten touches, surpassing a proprioception baseline. For the grasp stability task, we use ACRONYM labels to train and evaluate a grasp success predictor using PseudoTouch’s predictions derived from virtual depth information. Our approach yields a 32% absolute improvement in accuracy compared to the baseline relying on partial point cloud data. We make the data, code, and trained models publicly available at https://pseudotouch.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google