Marker or Markerless? Mode-Switchable Optical Tactile Sensing for Diverse Robot Tasks

要約

光学式触覚センサーは、ロボットの認識および操作タスクにおいて極めて重要な役割を果たします。
これらのセンサーのメンブレンは、マーカーでペイントすることも、マーカーなしのままにすることもできるため、マーカー モードまたはマーカーなしモードで機能することができます。
ただし、この単一モードの選択は、センサーが操作タスクまたは知覚タスクのいずれかのみに適していることを意味します。
マーカーは操作に不可欠ですが、カメラの邪魔をして認識を妨げる可能性もあります。
マーカー モードとマーカーなしモードのどちらを選択するかというジレンマが大きな障害となります。
この問題に対処するために、我々は 2 つのモード間の移行を容易にする、新しいモード切り替え可能な光学触覚センシング アプローチを提案します。
マーカーからマーカーなしへの遷移は生成モデルを通じて実現されますが、その逆遷移はまばらに教師付き回帰モデルを使用して実現されます。
私たちのアプローチにより、シングルモード光学センサーは追加のハードウェアを必要とせずにマーカー モードとマーカーレス モードの両方で効果的に動作できるため、認識タスクと操作タスクの両方に適しています。
広範な実験により、私たちの方法の有効性が検証されています。
認識タスクの場合、私たちのアプローチにより、誤って分類されたサンプルを含むカテゴリの数が 2 減少し、接触領域のセグメンテーション IoU が 3.53% 改善されました。
操作タスクの場合、私たちの方法は滑り検出で 92.59% という高い成功率を達成します。
コード、データセット、デモビデオはプロジェクト Web サイトで入手できます: https://gitouni.github.io/Marker-Markerless-Transition/

要約(オリジナル)

Optical tactile sensors play a pivotal role in robot perception and manipulation tasks. The membrane of these sensors can be painted with markers or remain markerless, enabling them to function in either marker or markerless mode. However, this uni-modal selection means the sensor is only suitable for either manipulation or perception tasks. While markers are vital for manipulation, they can also obstruct the camera, thereby impeding perception. The dilemma of selecting between marker and markerless modes presents a significant obstacle. To address this issue, we propose a novel mode-switchable optical tactile sensing approach that facilitates transitions between the two modes. The marker-to-markerless transition is achieved through a generative model, whereas its inverse transition is realized using a sparsely supervised regressive model. Our approach allows a single-mode optical sensor to operate effectively in both marker and markerless modes without the need for additional hardware, making it well-suited for both perception and manipulation tasks. Extensive experiments validate the effectiveness of our method. For perception tasks, our approach decreases the number of categories that include misclassified samples by 2 and improves contact area segmentation IoU by 3.53%. For manipulation tasks, our method attains a high success rate of 92.59% in slip detection. Code, dataset and demo videos are available at the project website: https://gitouni.github.io/Marker-Markerless-Transition/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google