Visuo-Tactile-Based Slip Detection Using A Multi-Scale Temporal Convolution Network

要約

人間は視覚と触覚によって、手に持った物体が滑ったかどうかを正確に判断することができます。
ただし、ロボットが視覚と触覚の融合を通じて、手にある物体の滑りを検出することは依然として課題です。
この問題に対処するために、時間依存の連続動作であるスリップを検出するために、新しい視覚触覚融合ディープ ニューラル ネットワークが提案されています。
マルチスケール時間畳み込みネットワーク (MS-TCN) を使用して、視覚および触覚データの時間的特徴を抽出することにより、スリップを効果的に検出できます。
この論文では、カメラと触覚センサーを搭載した 7 自由度 (7-DoF) ロボット マニピュレーターを使用して、形状、材質、サイズ、重量が異なる 50 個の日用品のデータ収集を行います。
したがって、データセットが構築され、ネットワークのトレーニングとテストにそれぞれ 40 個のオブジェクトと 10 個のオブジェクトの把握データが使用されます。
検出精度は、提案されたモデルに基づいて 96.96% です。
また、提案されたモデルは、収集されたデータセットの長期短期記憶ネットワーク (LSTM) に基づく視覚と触覚の融合ディープ ニューラル ネットワーク (DNN) と、GelSight 触覚センサーを使用した公開データセットと比較されます。
結果は、提案されたモデルが両方のデータセットでより優れたパフォーマンスを発揮することを示しています。
提案されたモデルは、ロボットが日用品を確実に把握するのに役立ちます。
また、力制御の把握、ポリシー生成の把握、器用な操作にも使用できます。

要約(オリジナル)

Humans can accurately determine whether the object in hand has slipped or not by visual and tactile perception. However, it is still a challenge for robots to detect in-hand object slip through visuo-tactile fusion. To address this issue, a novel visuo-tactile fusion deep neural network is proposed to detect slip, which is a time-dependent continuous action. By using the multi-scale temporal convolution network (MS-TCN) to extract the temporal features of visual and tactile data, the slip can be detected effectively. In this paper, a 7-dregree-of-freedom (7-DoF) robot manipulator equipped with a camera and a tactile sensor is used for data collection on 50 daily objects with different shapes, materials, sizes, and weights. Therefore, a dataset is built, where the grasping data of 40 objects and 10 objects are used for network training and testing, respectively. The detection accuracy is 96.96% based on the proposed model. Also, the proposed model is compared with a visuo-tactile fusion deep neural network (DNN) based on long short-term memory network (LSTM) on the collected dataset and a public dataset using the GelSight tactile sensor. The results demonstrate that the proposed model performs better on both dataset. The proposed model can help robots grasp daily objects reliably. In addition, it can be used in grasping force control, grasping policy generation and dexterous manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google