LLM-Driven Augmented Reality Puppeteer: Controller-Free Voice-Commanded Robot Teleoperation

要約

ロボット工学と拡張現実（AR）の統合は、使いやすさ、直感性、およびアクセシビリティを改善することにより、人間とロボットの相互作用（HRI）を前進させるための変革的な機会を提供します。
この作業では、コントローラーフリーのLLM駆動型音声コマンドARパペテリングシステムを紹介し、ユーザーが仮想の対応物をリアルタイムで操作することによりロボットをテレホ操作できるようにします。
自然言語処理（NLP）とARテクノロジーを活用することにより、メタクエスト3を使用してプロトタイプ化されたシステムは、物理的なコントローラーの必要性を排除し、直接ロボット操作に関連する潜在的な安全リスクを最小限に抑えながら、使いやすさを高めます。
予備的なユーザーデモンストレーションは、システムの機能を正常に検証し、より安全で直感的で没入型のロボット制御の可能性を実証しました。

要約(オリジナル)

The integration of robotics and augmented reality (AR) presents transformative opportunities for advancing human-robot interaction (HRI) by improving usability, intuitiveness, and accessibility. This work introduces a controller-free, LLM-driven voice-commanded AR puppeteering system, enabling users to teleoperate a robot by manipulating its virtual counterpart in real time. By leveraging natural language processing (NLP) and AR technologies, our system — prototyped using Meta Quest 3 — eliminates the need for physical controllers, enhancing ease of use while minimizing potential safety risks associated with direct robot operation. A preliminary user demonstration successfully validated the system’s functionality, demonstrating its potential for safer, more intuitive, and immersive robotic control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google