Predicting Human Impressions of Robot Performance During Navigation Tasks

要約

ロボットのパフォーマンスに対する人間の印象は、アンケートを通じて測定されることがよくあります。
よりスケーラブルで費用対効果の高い代替手段として、非言語的な行動の合図と機械学習技術を使用して、ロボットの行動に対する人々の印象を予測する可能性を調査します。
この目的を達成するために、私たちはまず、VR シミュレーションにおける人間と移動ロボットの間のインタラクションの観察と、5 段階評価でユーザーから提供されたロボットのパフォーマンスの印象から構成される SEAN TOGETHER データセットを提供します。
次に、人間と教師あり学習技術が、さまざまな観察タイプ (顔の表情の特徴や、ロボットや歩行者のナビゲーション動作を記述する特徴など) に基づいて知覚されるロボットのパフォーマンスをどの程度予測できるかについての分析に貢献します。
私たちの結果は、顔の表情だけがロボットのパフォーマンスに対する人間の印象について有用な情報を提供することを示唆しています。
しかし、私たちが検討したナビゲーション シナリオでは、コンテキスト内の空間特徴についての推論が予測タスクにとって重要です。
また、教師あり学習手法は、ほとんどの場合、人間によるロボットのパフォーマンスの予測を上回ったため、有望であることが示されました。
さらに、目に見えないユーザーのデータに対する二項分類タスクとしてロボットのパフォーマンスを予測すると、機械学習モデルの F1 スコアは、5 段階評価でパフォーマンスを予測した場合と比較して 2 倍以上になりました。
これは、モデルが正確な性能評価を予測するよりもロボットの性能の方向性を伝えることに優れているにもかかわらず、モデルが優れた一般化機能を備えていることを示唆しています。
シミュレーションでの結果に基づいて、移動ロボットが機械学習モデルを使用して、後続する人間がロボットをどのように認識するかを予測する実世界でのデモンストレーションを実施しました。
最後に、このような教師あり学習モデルを現実世界のナビゲーション シナリオに実装する場合の結果の意味について説明します。

要約(オリジナル)

Human impressions of robot performance are often measured through surveys. As a more scalable and cost-effective alternative, we investigate the possibility of predicting people’s impressions of robot behavior using non-verbal behavioral cues and machine learning techniques. To this end, we first contribute the SEAN TOGETHER Dataset consisting of observations of an interaction between a person and a mobile robot in a VR simulation, together with impressions of robot performance provided by users on a 5-point scale. Second, we contribute analyses of how well humans and supervised learning techniques can predict perceived robot performance based on different observation types (like facial expression features, and features that describe the navigation behavior of the robot and pedestrians). Our results suggest that facial expressions alone provide useful information about human impressions of robot performance; but in the navigation scenarios that we considered, reasoning about spatial features in context is critical for the prediction task. Also, supervised learning techniques showed promise because they outperformed humans’ predictions of robot performance in most cases. Further, when predicting robot performance as a binary classification task on unseen users’ data, the F1 Score of machine learning models more than doubled in comparison to predicting performance on a 5-point scale. This suggested that the models can have good generalization capabilities, although they are better at telling the directionality of robot performance than predicting exact performance ratings. Based on our findings in simulation, we conducted a real-world demonstration in which a mobile robot uses a machine learning model to predict how a human that follows it perceives it. Finally, we discuss the implications of our results for implementing such supervised learning models in real-world navigation scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google