An Augmented Reality Interface for Teleoperating Robot Manipulators: Reducing Demonstrator Task Load through Digital Twin Control

要約

模倣学習などのデータ駆動型手法を成功させるには、高品質の実証データを取得することが不可欠です。
操作タスクのデモンストレーションを提供する既存のプラットフォームは、多くの場合、デモンストレーターに多大な肉体的および精神的な要求を課し、追加のハードウェア システムを必要としたり、専門的なドメイン知識を必要としたりします。
この研究では、ロボットマニピュレーターを遠隔操作するための新しい拡張現実 (AR) インターフェイスを紹介し、特に精度と精度が必要な複雑なタスクを実行するというコンテキストでのデモンストレーターの経験を強調します。
Microsoft HoloLens 2 用に設計されたこのインターフェイスは、複合現実 (MR) の適応性の高い性質を活用し、ユーザーがデジタル ツイン サロゲートを通じて物理ロボットを制御できるようにします。
私たちは、3 つの複雑な操作タスクにわたるアプローチの有効性を評価し、そのパフォーマンスを、最近の仮想現実 (VR) 遠隔操作システムである OPEN TEACH、および 2 つの従来の制御方法 (運動感覚教育とエンドエフェクター制御用の 3D SpaceMouse) と比較します。
私たちの調査結果は、私たちの方法が VR アプローチと同等に機能し、データ収集における AR の可能性を実証していることを示しています。
さらに、各方法に関連する使いやすさとタスクの負荷を評価するためのパイロット調査を実施します。
結果は、当社の AR ベースのシステムが VR ベンチマークよりも高いユーザビリティ スコアを達成し、ユーザーが経験する精神的要求、肉体的労力、およびフラストレーションを大幅に軽減することを示しています。
付属のビデオは https://youtu.be/w-M58ohPgrA でご覧いただけます。

要約(オリジナル)

Acquiring high-quality demonstration data is essential for the success of data-driven methods, such as imitation learning. Existing platforms for providing demonstrations for manipulation tasks often impose significant physical and mental demands on the demonstrator, require additional hardware systems, or necessitate specialized domain knowledge. In this work, we present a novel augmented reality (AR) interface for teleoperating robotic manipulators, emphasizing the demonstrator’s experience, particularly in the context of performing complex tasks that require precision and accuracy. This interface, designed for the Microsoft HoloLens 2, leverages the adaptable nature of mixed reality (MR), enabling users to control a physical robot through digital twin surrogates. We assess the effectiveness of our approach across three complex manipulation tasks and compare its performance against OPEN TEACH, a recent virtual reality (VR) teleoperation system, as well as two traditional control methods: kinesthetic teaching and a 3D SpaceMouse for end-effector control. Our findings show that our method performs comparably to the VR approach and demonstrates the potential for AR in data collection. Additionally, we conduct a pilot study to evaluate the usability and task load associated with each method. Results indicate that our AR-based system achieves higher usability scores than the VR benchmark and significantly reduces mental demand, physical effort, and frustration experienced by users. An accompanying video can be found at https://youtu.be/w-M58ohPgrA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google