Multimodal ‘Puppeteer’: An Exploration of Robot Teleoperation Via Virtual Counterpart with LLM-Driven Voice and Gesture Interaction in Augmented Reality

要約

ロボット工学と拡張現実（AR）の統合は、人間とロボットの相互作用（HRI）を進めるための変革の可能性を秘め、使いやすさ、直感性、アクセシビリティ、および共同タスクのパフォーマンスの強化を提供します。
このペーパーでは、大規模な言語モデル（LLM）駆動型の音声コマンドとハンドジェスチャーの相互作用を介して、仮想カウンターパートを介して直感的なテレオ操作を可能にする、新しいマルチモーダルARベースのロボットパイプターフレームワークを紹介および評価します。
Meta Quest 3を利用して、ユーザーは仮想カウンターパートロボットとリアルタイムで対話し、AR環境内で物理的な対応物を効果的に「操ります」。
42人の参加者が2つの条件下でパターンマッチングタスクを備えたロボットキューブのピックアンドプレイスを実行する42人の参加者を使用して、被験者内ユーザー調査を実施しました。
客観的なパフォーマンスメトリックと主観的なユーザーエクスペリエンス（UX）測定値の両方が評価されました。これには、ロボット奏者と非ロバティック主義者の間の拡張比較分析が含まれます。
この結果は、マルチモーダル入力がARベースのHRIのコンテキストタスク効率、使いやすさ、およびユーザーの満足度にどのように影響するかについての重要な洞察を提供します。
私たちの調査結果は、効果的なAR強化HRIシステムを設計するための実用的なデザインの意味を提供します。

要約(オリジナル)

The integration of robotics and augmented reality (AR) holds transformative potential for advancing human-robot interaction (HRI), offering enhancements in usability, intuitiveness, accessibility, and collaborative task performance. This paper introduces and evaluates a novel multimodal AR-based robot puppeteer framework that enables intuitive teleoperation via virtual counterpart through large language model (LLM)-driven voice commands and hand gesture interactions. Utilizing the Meta Quest 3, users interact with a virtual counterpart robot in real-time, effectively ‘puppeteering’ its physical counterpart within an AR environment. We conducted a within-subject user study with 42 participants performing robotic cube pick-and-place with pattern matching tasks under two conditions: gesture-only interaction and combined voice-and-gesture interaction. Both objective performance metrics and subjective user experience (UX) measures were assessed, including an extended comparative analysis between roboticists and non-roboticists. The results provide key insights into how multimodal input influences contextual task efficiency, usability, and user satisfaction in AR-based HRI. Our findings offer practical design implications for designing effective AR-enhanced HRI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google