Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality

要約

空中ロボットは、複雑で危険な作業を行う人間を支援する上で重要な役割を果たす可能性を秘めています。
それにもかかわらず、将来の業界では、人間とドローンの間の対話プロセスを合理化し、シームレスなコラボレーションと効率的な共同作業を可能にする革新的なソリューションが求められています。
この論文では、複合現実 (MR) を通じて人間とロボットの間の認知的および物理的コラボレーションを促進する、新しい遠隔没入型フレームワークを紹介します。
このフレームワークには、新しい双方向空間認識とマルチモーダル仮想物理インタラクション アプローチが組み込まれています。
前者は物理世界と仮想世界をシームレスに統合し、双方向の自己中心的および外中心的な環境表現を提供します。
後者は、提案された空間表現を活用し、障害物回避のためのロボット計画アルゴリズムと可変アドミッタンス制御を組み合わせたコラボレーションをさらに強化します。
これにより、ユーザーは環境マップとの互換性を維持しながら、仮想力に基づいてコマンドを発行できるようになります。
ドローンと MR ヘッドセットを装着したユーザーが関与するいくつかの共同計画および探索タスクを実行することにより、提案されたアプローチを検証します。

要約(オリジナル)

Aerial robots have the potential to play a crucial role in assisting humans with complex and dangerous tasks. Nevertheless, the future industry demands innovative solutions to streamline the interaction process between humans and drones to enable seamless collaboration and efficient co-working. In this paper, we present a novel tele-immersive framework that promotes cognitive and physical collaboration between humans and robots through Mixed Reality (MR). This framework incorporates a novel bi-directional spatial awareness and a multi-modal virtual-physical interaction approaches. The former seamlessly integrates the physical and virtual worlds, offering bidirectional egocentric and exocentric environmental representations. The latter, leveraging the proposed spatial representation, further enhances the collaboration combining a robot planning algorithm for obstacle avoidance with a variable admittance control. This allows users to issue commands based on virtual forces while maintaining compatibility with the environment map. We validate the proposed approach by performing several collaborative planning and exploration tasks involving a drone and an user equipped with a MR headset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google