ViTacTip: Design and Verification of a Novel Biomimetic Physical Vision-Tactile Fusion Sensor

要約

触覚センシングは、操作中に物理的な接触情報を取得できるため、ロボット工学にとって重要です。
コンパクトなフレームワーク内でマルチモーダルな接触情報を取得するために、私たちは ViTacTip と呼ばれる新しいセンサーを設計しました。これは、触覚機能と視覚認識機能の両方を単一の統合センサー ユニットにシームレスに統合します。
ViTacTip は、接触時に物体の微細な特徴を捉えるための透明なスキンを備えており、これはシースルースキン機構として知られています。
一方、ViTacTip に埋め込まれた生体模倣チップは、触覚知覚中のタッチ動作を増幅できます。
比較分析のために、生体模倣チップのない ViTac センサーと、不透明な皮膚を備えた TacTip センサーも作製しました。
さらに、異なる知覚モード間でモダリティを切り替えるための敵対的生成ネットワーク (GAN) ベースのアプローチを開発し、視覚と触覚の知覚モードの強調を効果的に切り替えます。
我々は、i) 格子の識別、ii) 姿勢回帰、および iii) 接触位置特定と力推定という 3 つの異なるタスクにわたって、提案されたセンサーの性能評価を実施しました。
格子識別タスクでは、ViTacTip は 99.72% の精度を示し、94.60% を達成した TacTip を上回りました。
また、ViTac の最小誤差が 0.12 mm および 0.15 N であるのに対し、姿勢推定タスクと力推定タスクの両方で優れたパフォーマンスを示し、最小誤差はそれぞれ 0.08 mm および 0.03 N でした。
結果は、ViTacTip が単一モダリティセンサーよりも優れた性能を発揮することを示しています。

要約(オリジナル)

Tactile sensing is significant for robotics since it can obtain physical contact information during manipulation. To capture multimodal contact information within a compact framework, we designed a novel sensor called ViTacTip, which seamlessly integrates both tactile and visual perception capabilities into a single, integrated sensor unit. ViTacTip features a transparent skin to capture fine features of objects during contact, which can be known as the see-through-skin mechanism. In the meantime, the biomimetic tips embedded in ViTacTip can amplify touch motions during tactile perception. For comparative analysis, we also fabricated a ViTac sensor devoid of biomimetic tips, as well as a TacTip sensor with opaque skin. Furthermore, we develop a Generative Adversarial Network (GAN)-based approach for modality switching between different perception modes, effectively alternating the emphasis between vision and tactile perception modes. We conducted a performance evaluation of the proposed sensor across three distinct tasks: i) grating identification, ii) pose regression, and iii) contact localization and force estimation. In the grating identification task, ViTacTip demonstrated an accuracy of 99.72%, surpassing TacTip, which achieved 94.60%. It also exhibited superior performance in both pose and force estimation tasks with the minimum error of 0.08mm and 0.03N, respectively, in contrast to ViTac’s 0.12mm and 0.15N. Results indicate that ViTacTip outperforms single-modality sensors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google