A Multimodal Handover Failure Detection Dataset and Baselines

要約

ロボットと人間の間のオブジェクトの受け渡しは調整されたアクションですが、コミュニケーションの誤り、誤ったアクション、予期しないオブジェクトの特性などの理由で失敗する傾向があります。
ハンドオーバーの失敗の検出と防止に関する既存の研究は、物体の滑りや外乱による失敗の防止に焦点を当てています。
しかし、人間の参加者によって引き起こされる予防不可能な失​​敗を考慮したデータセットや評価方法が不足しています。
この欠点に対処するために、ロボットを無視したり、物体を解放しなかったりするなど、人間の参加者によって引き起こされた失敗で構成されるマルチモーダルなハンドオーバー失敗検出データセットを提示します。
また、ハンドオーバー障害検出のための 2 つのベースライン手法も紹介します。(i) 3D CNN を使用したビデオ分類手法と、(ii) 人間のアクション、ロボットのアクション、およびアクションの全体的な結果を共同で分類する時間アクション セグメンテーション アプローチです。
結果は、ビデオが重要なモダリティであることを示していますが、力とトルクのデータとグリッパーの位置を使用することで、故障検出とアクションのセグメント化の精度が向上することがわかりました。

要約(オリジナル)

An object handover between a robot and a human is a coordinated action which is prone to failure for reasons such as miscommunication, incorrect actions and unexpected object properties. Existing works on handover failure detection and prevention focus on preventing failures due to object slip or external disturbances. However, there is a lack of datasets and evaluation methods that consider unpreventable failures caused by the human participant. To address this deficit, we present the multimodal Handover Failure Detection dataset, which consists of failures induced by the human participant, such as ignoring the robot or not releasing the object. We also present two baseline methods for handover failure detection: (i) a video classification method using 3D CNNs and (ii) a temporal action segmentation approach which jointly classifies the human action, robot action and overall outcome of the action. The results show that video is an important modality, but using force-torque data and gripper position help improve failure detection and action segmentation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google