A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network

要約

一般に器用ロボットハンドには、把持した物体の位置、力、姿勢などの多峰的な接触情報を取得するための各種センサーが搭載されています。
このマルチセンサーベースの設計により、ロボット システムがさらに複雑になります。
対照的に、ビジョンベースの触覚センサーは特殊な光学設計を採用しており、単一システム内のさまざまなモダリティにわたって触覚情報の抽出を可能にします。
それにもかかわらず、一般的なシステムにおけるさまざまなモダリティのデカップリング設計は、多くの場合独立しています。
したがって、触覚モダリティの次元が増加するにつれて、データ処理とデカップリングにおいてより複雑な課題が生じ、その応用がある程度制限されます。
ここでは、視覚ベースの触覚センサに基づいたマルチモーダルセンシングシステムを開発しました。このシステムは、触覚情報の視覚的表現を利用して、把握された物体のマルチモーダルな接触情報を知覚します。
視覚的表現には、ディープ ニューラル ネットワークによって分離できる広範なコンテンツが含まれており、把握したオブジェクトの分類、位置、姿勢、力などのマルチモーダルな接触情報を取得できます。
結果は、触覚センシングシステムが、単一のセンサーのみを使用し、異なるモーダル触感情報に対して異なるデータデカップリング設計を行うことなく、マルチモーダル触感情報を認識できることを示しており、これにより、触覚システムの複雑さが軽減され、次のようなさまざまな分野でマルチモーダル触覚統合の可能性が実証されています。
生物医学、生物学、ロボット工学など。

要約(オリジナル)

In general, robotic dexterous hands are equipped with various sensors for acquiring multimodal contact information such as position, force, and pose of the grasped object. This multi-sensor-based design adds complexity to the robotic system. In contrast, vision-based tactile sensors employ specialized optical designs to enable the extraction of tactile information across different modalities within a single system. Nonetheless, the decoupling design for different modalities in common systems is often independent. Therefore, as the dimensionality of tactile modalities increases, it poses more complex challenges in data processing and decoupling, thereby limiting its application to some extent. Here, we developed a multimodal sensing system based on a vision-based tactile sensor, which utilizes visual representations of tactile information to perceive the multimodal contact information of the grasped object. The visual representations contain extensive content that can be decoupled by a deep neural network to obtain multimodal contact information such as classification, position, posture, and force of the grasped object. The results show that the tactile sensing system can perceive multimodal tactile information using only one single sensor and without different data decoupling designs for different modal tactile information, which reduces the complexity of the tactile system and demonstrates the potential for multimodal tactile integration in various fields such as biomedicine, biology, and robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google