Robustifying Long-term Human-Robot Collaboration through a Hierarchical and Multimodal Framework

要約

長期にわたる人間とロボットのコラボレーション (HRC) は、柔軟な製造システムを開発し、長期間にわたってコンパニオン ロボットを日常の人間の環境に統合するために重要です。
ただし、このようなコラボレーションを維持するには、人間の意図を正確に理解すること、騒がしく動的な環境での堅牢性の維持、多様なユーザー行動への適応などの課題を克服する必要があります。
この論文では、これらの課題に対処し、効率的で堅牢な長期 HRC を促進するための、新しいマルチモーダルで階層的なフレームワークを紹介します。
特に、提案されたマルチモーダル フレームワークは、視覚的観察と音声コマンドを統合し、人間とロボットの間の直観的で自然かつ柔軟なインタラクションを可能にします。
さらに、人間の検出と意図の予測に対する階層的なアプローチにより、システムの堅牢性が大幅に向上し、ロボットが人間の行動をよりよく理解できるようになります。
プロアクティブな理解により、ロボットは予測された人間の意図に基づいてタイムリーかつ適切なアクションを実行できるようになります。
私たちは、提案されたマルチモーダル階層フレームワークを KINOVA GEN3 ロボットに展開し、実際の長期 HRC 実験に関する広範なユーザー調査を実施します。
結果は、私たちのアプローチが長期的な HRC におけるシステムの効率、柔軟性、適応性を効果的に改善することを示しており、人間とロボットの連携方法を大幅に改善するフレームワークの可能性を示しています。

要約(オリジナル)

Long-term Human-Robot Collaboration (HRC) is crucial for developing flexible manufacturing systems and for integrating companion robots into daily human environments over extended periods. However, sustaining such collaborations requires overcoming challenges such as accurately understanding human intentions, maintaining robustness in noisy and dynamic environments, and adapting to diverse user behaviors. This paper presents a novel multimodal and hierarchical framework to address these challenges, facilitating efficient and robust long-term HRC. In particular, the proposed multimodal framework integrates visual observations with speech commands, which enables intuitive, natural, and flexible interactions between humans and robots. Additionally, our hierarchical approach for human detection and intention prediction significantly enhances the system’s robustness, allowing robots to better understand human behaviors. The proactive understanding enables robots to take timely and appropriate actions based on predicted human intentions. We deploy the proposed multimodal hierarchical framework to the KINOVA GEN3 robot and conduct extensive user studies on real-world long-term HRC experiments. The results demonstrate that our approach effectively improves the system efficiency, flexibility, and adaptability in long-term HRC, showcasing the framework’s potential to significantly improve the way humans and robots work together.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google