Immersive Human-in-the-Loop Control: Real-Time 3D Surface Meshing and Physics Simulation

要約

この論文では、ヘッドマウント ディスプレイ (HMD) を使用したヒューマン イン ザ ループのロボット制御用に特別に設計された新しい予測視覚および触覚システムである TactiMesh Teleoperator Interface (TTI) を紹介します。
TTI は、スペース カービング メソッド (CARV) と並行して同時ローカライゼーションとマッピング (SLAM) を採用することにより、Barrett WAM アームに取り付けられた RGB カメラからリモート環境のリアルタイム 3D サーフェス メッシュを作成します。
生成されたメッシュは物理シミュレーターに統合され、WAM ロボット アームのデジタル ツインを備えて仮想環境を作成します。
この仮想環境では、TTI はオペレーターの動きに直接応答して触覚フィードバックを提供し、触覚追従ロボットの応答遅延の問題を解消します。
さらに、SLAM のキーフレームを使用して 3D メッシュをテクスチャリングすることにより、オペレータはアームに取り付けられたロボット カメラから独立してヘッド マウント ディスプレイ (HMD) の視点を制御できるようになり、視覚的な没入感が向上し、操作速度が向上します。
視覚的および触覚による予測フィードバックを組み込むことで、捜索救助、検査、遠隔保守などのアプリケーションにおける遠隔操作が大幅に向上します。

要約(オリジナル)

This paper introduces the TactiMesh Teleoperator Interface (TTI), a novel predictive visual and haptic system designed explicitly for human-in-the-loop robot control using a head-mounted display (HMD). By employing simultaneous localization and mapping (SLAM)in tandem with a space carving method (CARV), TTI creates a real time 3D surface mesh of remote environments from an RGB camera mounted on a Barrett WAM arm. The generated mesh is integrated into a physics simulator, featuring a digital twin of the WAM robot arm to create a virtual environment. In this virtual environment, TTI provides haptic feedback directly in response to the operator’s movements, eliminating the problem with delayed response from the haptic follower robot. Furthermore, texturing the 3D mesh with keyframes from SLAM allows the operator to control the viewpoint of their Head Mounted Display (HMD) independently of the arm-mounted robot camera, giving a better visual immersion and improving manipulation speed. Incorporating predictive visual and haptic feedback significantly improves teleoperation in applications such as search and rescue, inspection, and remote maintenance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google