Integrating Visuo-tactile Sensing with Haptic Feedback for Teleoperated Robot Manipulation

要約

テレロボティクスにより、人間は空間的制約を克服し、離れた場所にある環境と物理的に対話できるようになります。
ただし、システムによってオペレーターに提供される感覚フィードバックは純粋に視覚的なものであることが多く、操作タスクにおけるオペレーターの器用さが制限されます。
この研究では、ロボットのエンドエフェクターに高解像度の視覚触覚 GelSight センサーを装備することで、この問題に対処しました。
低コストの MANUS-Gloves を使用して、接触点に作用する力に関する触覚フィードバックを振動信号の形でオペレーターに提供します。
これらの力を推定するために 2 つの異なる方法を提案します。
1 つはセンサー表面上のマーカーの動きの推定に基づくもの、もう 1 つは深層学習アプローチです。
さらに、当社のシステムを仮想現実遠隔操作パイプラインに統合します。このパイプラインでは、人間のオペレーターが視覚的および触覚的なフィードバックを受け取りながら Tiago ロボットの両腕を制御します。
私たちは、触覚フィードバックの統合は、遠隔操作ロボット システムにおける器用な操作にとって重要なステップであると信じています。

要約(オリジナル)

Telerobotics enables humans to overcome spatial constraints and allows them to physically interact with the environment in remote locations. However, the sensory feedback provided by the system to the operator is often purely visual, limiting the operator’s dexterity in manipulation tasks. In this work, we address this issue by equipping the robot’s end-effector with high-resolution visuotactile GelSight sensors. Using low-cost MANUS-Gloves, we provide the operator with haptic feedback about forces acting at the points of contact in the form of vibration signals. We propose two different methods for estimating these forces; one based on estimating the movement of markers on the sensor surface and one deep-learning approach. Additionally, we integrate our system into a virtual-reality teleoperation pipeline in which a human operator controls both arms of a Tiago robot while receiving visual and haptic feedback. We believe that integrating haptic feedback is a crucial step for dexterous manipulation in teleoperated robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google