Enhanced Information Extraction from Cylindrical Visual-Tactile Sensors via Image Fusion

要約

平面接触構造を備えた視覚ベースの触覚センサーは、接触している物体の形状、力、運動状態を取得します。
平面接触領域が限られているため、より大きな対象物体に関する情報を取得する際に課題が生じます。
これに対し、円筒状の接触構造を有する視覚型触覚センサは、転がることにより接触面積を拡大することができ、一度の接触でセンシング投影面積を超える多くの触覚情報を取得することができます。
ただし、円筒構造によって取得される触覚データは、一貫して同じ深さレベルに対応するわけではありません。
したがって、広範囲の接触領域でデータをつなぎ合わせて分析することは、困難な問題です。
この研究では、円筒視覚ベースの触覚センサーに基づく画像融合手法を提案します。
この方法は、円筒構造の接触深さの変化特性を利用し、周波数領域で異なる接触深さの有効な情報を抽出し、情報特性の差分融合を実行します。
その結果、単一センシングよりも広い領域に直面する物体接触において、提案手法で融合された画像は、動き距離サンプリングに基づいてステッチングする手法と比較して、より高い情報と構造的類似性を有することが示された。
一方、サンプリング時間に対しては堅牢です。
この方法をディープ ニューラル ネットワークで補完し、円筒視覚ベースの触覚センサーを使用して物体の接触情報を融合および認識する可能性を示します。

要約(オリジナル)

Vision-based tactile sensors equipped with planar contact structures acquire the shape, force, and motion states of objects in contact. The limited planar contact area presents a challenge in acquiring information about larger target objects. In contrast, vision-based tactile sensors with cylindrical contact structures could extend the contact area by rolling, which can acquire much tactile information that exceeds the sensing projection area in a single contact. However, the tactile data acquired by cylindrical structures does not consistently correspond to the same depth level. Therefore, stitching and analyzing the data in an extended contact area is a challenging problem. In this work, we propose an image fusion method based on cylindrical vision-based tactile sensors. The method takes advantage of the changing characteristics of the contact depth of cylindrical structures, extracts the effective information of different contact depths in the frequency domain, and performs differential fusion for the information characteristics. The results show that in object contact confronting an area larger than single sensing, the images fused with our proposed method have higher information and structural similarity compared with the method of stitching based on motion distance sampling. Meanwhile, it is robust to sampling time. We complement this method with a deep neural network to illustrate its potential for fusing and recognizing object contact information using cylindrical vision-based tactile sensors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google