A 3D Mixed Reality Interface for Human-Robot Teaming

要約

この論文では、複合現実人間とロボットのチーム化システムを紹介します。
これにより、人間のオペレーターは、ロボットが視界内にない場合でも、ロボットの位置をリアルタイムで確認できるようになります。
オペレーターは、ロボットが作成する環境のマップを視覚化し、ロボットを新しい目標位置に簡単に送ることもできます。
システムは主にマッピングモジュールと制御モジュールで構成されます。
マッピング モジュールは、すべてのロボットと複合現実デバイスを共通の基準フレームに同時位置特定するリアルタイム マルチエージェント ビジュアル SLAM システムです。
複合現実デバイスの視覚化により、オペレーターは現実の環境に重ねられた累積 3D マップの等身大の仮想表現を見ることができます。
そのため、オペレータは壁を通して他の部屋を効果的に「見る」ことができます。
ロボットを制御して新しい場所に送るために、ドラッグ アンド ドロップ インターフェイスを提案します。
オペレーターは、3D ミニマップ内のロボット ホログラムをつかんで、新しい目的のゴール ポーズまでドラッグできます。
ユーザー調査と実際の展開を通じて、提案されたシステムを検証します。
複合現実アプリケーションは https://github.com/cvg/HoloLens_ros で公開されています。

要約(オリジナル)

This paper presents a mixed-reality human-robot teaming system. It allows human operators to see in real-time where robots are located, even if they are not in line of sight. The operator can also visualize the map that the robots create of their environment and can easily send robots to new goal positions. The system mainly consists of a mapping and a control module. The mapping module is a real-time multi-agent visual SLAM system that co-localizes all robots and mixed-reality devices to a common reference frame. Visualizations in the mixed-reality device then allow operators to see a virtual life-sized representation of the cumulative 3D map overlaid onto the real environment. As such, the operator can effectively ‘see through’ walls into other rooms. To control robots and send them to new locations, we propose a drag-and-drop interface. An operator can grab any robot hologram in a 3D mini map and drag it to a new desired goal pose. We validate the proposed system through a user study and real-world deployments. We make the mixed-reality application publicly available at https://github.com/cvg/HoloLens_ros.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google