Multimodal Interaction and Intention Communication for Industrial Robots

要約

産業用ロボットの採用の成功は、不必要な気晴らしを避けながら、人間の環境で安全かつ効率的に動作し、自然コミュニケーションに従事し、ユーザーを理解し、直感的に意図を表明する能力に強く依存します。
この高度なレベルのヒューマンロボット相互作用（HRI）を達成するには、ロボットはユーザーのタスクと環境に関する知識を習得して組み込み、音声、動き、視線、およびその他のモダリティを組み合わせた表現力のある手がかりとマルチモーダルコミュニケーションアプローチを採用する必要があります。
このペーパーでは、非ヒト産業ロボットの表現力豊かなHRIシステムを設計、強化、評価する方法をいくつか紹介します。
フォークリフトなどの非ヒト宿主のプロキシとしてコミュニケーションをとる小さな擬人化ロボットの概念を提示します。
このロボットのマルチモーダルおよびLLM強化されたコミュニケーションフレームワークを開発し、視線追跡とモーションキャプチャを使用して、ユーザーがロボットを認識し、タスクの進行を測定する方法を定量化して、いくつかのラボ実験で評価しました。

要約(オリジナル)

Successful adoption of industrial robots will strongly depend on their ability to safely and efficiently operate in human environments, engage in natural communication, understand their users, and express intentions intuitively while avoiding unnecessary distractions. To achieve this advanced level of Human-Robot Interaction (HRI), robots need to acquire and incorporate knowledge of their users’ tasks and environment and adopt multimodal communication approaches with expressive cues that combine speech, movement, gazes, and other modalities. This paper presents several methods to design, enhance, and evaluate expressive HRI systems for non-humanoid industrial robots. We present the concept of a small anthropomorphic robot communicating as a proxy for its non-humanoid host, such as a forklift. We developed a multimodal and LLM-enhanced communication framework for this robot and evaluated it in several lab experiments, using gaze tracking and motion capture to quantify how users perceive the robot and measure the task progress.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google