Leveraging Tactile Sensing to Render both Haptic Feedback and Virtual Reality 3D Object Reconstruction in Robotic Telemanipulation

要約

器用なロボット・マニピュレータの遠隔操作は、人間を制御ループの中に入れておくのが便利な場合や、高度なロボット・エージェントを訓練する場合など、多くの用途で広く使われている。これまでのところ、この技術はカメラシステムと組み合わせて使用され、目覚しい成功を収めている。一方、カメラベースのシステムが自己閉塞や煙のような劣悪な光条件によって失敗するような状況で、触覚センサーからの触覚フィードバックを活用することに焦点を当てた研究は限られている。本研究では、VRにおける触覚ベースの3Dオブジェクト再構成を活用し、目隠しをしたユーザーに触覚フィードバックを提供することで、カメラを使用しない正確なピックアンドプレース遠隔操作の実現可能性を実証する。我々の予備的な結果は、これらの技術を統合することで、これまでカメラに依存していた遠隔操作タスクを成功裏に完了できることを示しており、より複雑な将来のアプリケーションへの道を開くものである。

要約(オリジナル)

Dexterous robotic manipulator teleoperation is widely used in many applications, either where it is convenient to keep the human inside the control loop, or to train advanced robot agents. So far, this technology has been used in combination with camera systems with remarkable success. On the other hand, only a limited number of studies have focused on leveraging haptic feedback from tactile sensors in contexts where camera-based systems fail, such as due to self-occlusions or poor light conditions like smoke. This study demonstrates the feasibility of precise pick-and-place teleoperation without cameras by leveraging tactile-based 3D object reconstruction in VR and providing haptic feedback to a blindfolded user. Our preliminary results show that integrating these technologies enables the successful completion of telemanipulation tasks previously dependent on cameras, paving the way for more complex future applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL