Early Detection of Human Handover Intentions in Human-Robot Collaboration: Comparing EEG, Gaze, and Hand Motion

要約

ヒューマンロボットコラボレーション（HRC）は、シームレスな相互作用を確保するために、人間の意図を正確かつタイムリーに認識することに依存しています。
一般的なHRCタスクの中で、オブジェクトのレセプション中にロボットのアクションを計画するために、人間からロボットオブジェクトの手観察者が広範囲に研究されてきました。
ただし、ハンドオーバーの意図を他のアクションと区別することは、限られた注目を集めています。
ハンドオーバーに関するほとんどの研究は、動きの軌跡の視覚的検出に焦点を当てており、軌跡が重複すると遅延または誤検出をもたらすことがよくあります。
このペーパーでは、オブジェクトハンドオーバーに対する人間の意図が非運動ベースの生理学的信号に反映されているかどうかを調査します。
脳波（EEG）、視線、およびハンドモーション信号の3つのデータモダリティを比較するマルチモーダル分析を実施します。
私たちの研究の目的は、HRC環境でのハンドオーバー向けの人間の動きと非ハンドオーバー運動を区別し、人間の動きの開始の前後にこれらのアクションを予測および分類する際の各モダリティのパフォーマンスを評価することです。
これらのモダリティに基づいて人間の意図検出器を開発および評価し、ハンドオーバーの意図を特定する際の精度とタイミングを比較します。
私たちの知る限り、これは、人間とロボットの手元と同じ実験的コンテキスト内で、複数のモダリティにわたって意図検出器を体系的に開発およびテストする最初の研究です。
私たちの分析では、3つのモダリティすべてからハンドオーバーの意図が検出できることが明らかになりました。
それにもかかわらず、視線信号は、ハンドオーバーまたは非ハンドオーバーを目的としたモーションを分類するための最も早く、最も正確なものです。

要約(オリジナル)

Human-robot collaboration (HRC) relies on accurate and timely recognition of human intentions to ensure seamless interactions. Among common HRC tasks, human-to-robot object handovers have been studied extensively for planning the robot’s actions during object reception, assuming the human intention for object handover. However, distinguishing handover intentions from other actions has received limited attention. Most research on handovers has focused on visually detecting motion trajectories, which often results in delays or false detections when trajectories overlap. This paper investigates whether human intentions for object handovers are reflected in non-movement-based physiological signals. We conduct a multimodal analysis comparing three data modalities: electroencephalogram (EEG), gaze, and hand-motion signals. Our study aims to distinguish between handover-intended human motions and non-handover motions in an HRC setting, evaluating each modality’s performance in predicting and classifying these actions before and after human movement initiation. We develop and evaluate human intention detectors based on these modalities, comparing their accuracy and timing in identifying handover intentions. To the best of our knowledge, this is the first study to systematically develop and test intention detectors across multiple modalities within the same experimental context of human-robot handovers. Our analysis reveals that handover intention can be detected from all three modalities. Nevertheless, gaze signals are the earliest as well as the most accurate to classify the motion as intended for handover or non-handover.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google