Design and Benchmarking of A Multi-Modality Sensor for Robotic Manipulation with GAN-Based Cross-Modality Interpretation

要約

このペーパーでは、コンパクトな設計で高度なマルチモーダル センシングの要求を満たす革新的なセンサー ViTacTip の設計とベンチマークを紹介します。
ViTacTip の注目すべき特徴は、「シースルースキン」機構を組み込んだ透明なスキンです。
このメカニズムは、接触時に物体の詳細な特徴を捕捉し、視覚ベースの能力と近接認識能力の両方を大幅に向上させることを目的としています。
同時に、センサーの皮膚に埋め込まれた生体模倣チップは、接触の詳細を増幅するように設計されており、これにより、触覚およびそれに由来する力の知覚能力が大幅に強化されます。
ViTacTip のマルチモーダル機能を実証するために、硬度、材質、質感を同時に認識できるマルチタスク学習モデルを開発しました。
ViTacTip の機能を評価し、多用途性を検証するために、物体認識、接触点検出、姿勢回帰、格子識別などの大規模なベンチマーク実験を実施しました。
さまざまなセンシング方式間のシームレスな切り替えを容易にするために、敵対的生成ネットワーク (GAN) ベースのアプローチを採用しました。
この方法は、クロスモダリティの解釈を可能にすることで、多様な環境にわたる ViTacTip センサーの適用性を高めます。

要約(オリジナル)

In this paper, we present the design and benchmark of an innovative sensor, ViTacTip, which fulfills the demand for advanced multi-modal sensing in a compact design. A notable feature of ViTacTip is its transparent skin, which incorporates a `see-through-skin’ mechanism. This mechanism aims at capturing detailed object features upon contact, significantly improving both vision-based and proximity perception capabilities. In parallel, the biomimetic tips embedded in the sensor’s skin are designed to amplify contact details, thus substantially augmenting tactile and derived force perception abilities. To demonstrate the multi-modal capabilities of ViTacTip, we developed a multi-task learning model that enables simultaneous recognition of hardness, material, and textures. To assess the functionality and validate the versatility of ViTacTip, we conducted extensive benchmarking experiments, including object recognition, contact point detection, pose regression, and grating identification. To facilitate seamless switching between various sensing modalities, we employed a Generative Adversarial Network (GAN)-based approach. This method enhances the applicability of the ViTacTip sensor across diverse environments by enabling cross-modality interpretation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google