A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network

要約

一般的に、ロボットの器用な手には、把持した物体の位置、力、姿勢などのマルチモーダルな接触情報を取得するための様々なセンサーが搭載されています。このマルチセンサーベースの設計は、ロボットシステムに複雑さを加える。対照的に、視覚ベースの触覚センサーは、単一のシステム内で異なるモダリティにわたる触覚情報の抽出を可能にするために、特殊な光学設計を採用している。それにもかかわらず、一般的なシステムでは異なるモダリティのデカップリング設計は独立していることが多い。そのため、触覚モダリティの次元が大きくなるにつれて、データ処理とデカップリングにおいてより複雑な課題が生じ、それによってその応用がある程度制限される。ここでは、視覚ベースの触覚センサをベースとしたマルチモーダルセンシングシステムを開発し、触覚情報の視覚表現を利用して、把持物体のマルチモーダルな接触情報を知覚する。視覚表現には、把持物体の分類、位置、姿勢、力などのマルチモーダル接触情報を得るために、ディープニューラルネットワークによって切り離すことができる広範な内容が含まれている。その結果、触覚センシングシステムは、たった1つのセンサを用いるだけで、異なるモーダル触覚情報に対して異なるデータデカップリング設計をすることなく、マルチモーダル触覚情報を知覚できることが示された。これは、触覚システムの複雑さを軽減し、生体医学、生物学、ロボット工学などの様々な分野におけるマルチモーダル触覚統合の可能性を示すものである。

要約(オリジナル)

In general, robotic dexterous hands are equipped with various sensors for acquiring multimodal contact information such as position, force, and pose of the grasped object. This multi-sensor-based design adds complexity to the robotic system. In contrast, vision-based tactile sensors employ specialized optical designs to enable the extraction of tactile information across different modalities within a single system. Nonetheless, the decoupling design for different modalities in common systems is often independent. Therefore, as the dimensionality of tactile modalities increases, it poses more complex challenges in data processing and decoupling, thereby limiting its application to some extent. Here, we developed a multimodal sensing system based on a vision-based tactile sensor, which utilizes visual representations of tactile information to perceive the multimodal contact information of the grasped object. The visual representations contain extensive content that can be decoupled by a deep neural network to obtain multimodal contact information such as classification, position, posture, and force of the grasped object. The results show that the tactile sensing system can perceive multimodal tactile information using only one single sensor and without different data decoupling designs for different modal tactile information, which reduces the complexity of the tactile system and demonstrates the potential for multimodal tactile integration in various fields such as biomedicine, biology, and robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL