Immersive Teleoperation Framework for Locomanipulation Tasks

要約

ロボット局所操作における最近の進歩により、仮想現実（VR）を活用して、テレオ操作システムの精度と没入感を高め、2Dカメラフィードとジョイスティックコントロールに依存する従来の方法を大幅に上回っています。
これらの進歩にもかかわらず、特にさまざまなセットアップ間のユーザーエクスペリエンスに関する課題は残っています。
このペーパーでは、モバイルプラットフォームに統合されたロボットマニピュレーター向けに設計された新しいVRベースのテレオ操作フレームワークを紹介します。
私たちのアプローチの中心は、操作可能なシーンをVR環境に抽象化する手法であるガウスのスプラッティングの適用です。
ユーザーは、まるで実際のロボットと対話して、テレオ操作タスクのエンゲージメントと有効性の両方を強化するかのように、仮想シーン内でナビゲートおよび操作できます。
広範なユーザー調査では、当社のアプローチを検証し、大幅なユーザビリティと効率の改善を実証しています。
参加者の3分の2（66％）がタスクをより速く完了し、平均時間短縮を達成しました。
さらに、93％がガウスのスプラットインターフェイスを全体的に好み、将来の使用に関する全会一致（100％）の推奨事項があり、精度、応答性、状況認識の改善を強調しました。
最後に、SPLATベースのVRインターフェイスの実用的な機能と汎用性を紹介する2つの異なるアプリケーションシナリオでの実際の実験を通じて、フレームワークの有効性を実証します。

要約(オリジナル)

Recent advancements in robotic loco-manipulation have leveraged Virtual Reality (VR) to enhance the precision and immersiveness of teleoperation systems, significantly outperforming traditional methods reliant on 2D camera feeds and joystick controls. Despite these advancements, challenges remain, particularly concerning user experience across different setups. This paper introduces a novel VR-based teleoperation framework designed for a robotic manipulator integrated onto a mobile platform. Central to our approach is the application of Gaussian splatting, a technique that abstracts the manipulable scene into a VR environment, thereby enabling more intuitive and immersive interactions. Users can navigate and manipulate within the virtual scene as if interacting with a real robot, enhancing both the engagement and efficacy of teleoperation tasks. An extensive user study validates our approach, demonstrating significant usability and efficiency improvements. Two-thirds (66%) of participants completed tasks faster, achieving an average time reduction of 43%. Additionally, 93% preferred the Gaussian Splat interface overall, with unanimous (100%) recommendations for future use, highlighting improvements in precision, responsiveness, and situational awareness. Finally, we demonstrate the effectiveness of our framework through real-world experiments in two distinct application scenarios, showcasing the practical capabilities and versatility of the Splat-based VR interface.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google