Towards Inferring Users’ Impressions of Robot Performance in Navigation Scenarios

要約

ロボットのパフォーマンスに対する人間の印象は、アンケートを通じて測定されることがよくあります。
よりスケーラブルで費用対効果の高い代替手段として、非言語的な行動の合図と機械学習技術を使用して、ロボットの行動に対する人々の印象を予測する可能性を研究しています。
この目的を達成するために、私たちはまず、仮想現実シミュレーションにおける人間と移動ロボットの間のインタラクションの観察と、5 段階評価でユーザーから提供されたロボットのパフォーマンスの印象から構成される SEAN TOGETHER データセットを提供します。
次に、人間と教師あり学習技術が、観察タイプ (顔、空間、地図の特徴など) のさまざまな組み合わせに基づいて知覚されるロボットのパフォーマンスをどの程度予測できるかについての分析に貢献します。
私たちの結果は、顔の表情だけがロボットのパフォーマンスに対する人間の印象について有用な情報を提供することを示しています。
しかし、私たちがテストしたナビゲーション シナリオでは、空間特徴がこの推論タスクにとって最も重要な情報です。
また、結果を (多クラス分類ではなく) 二項分類として評価すると、人間の予測モデルと機械学習モデルの F1 スコアは 2 倍以上になり、どちらも正確なパフォーマンス評価を予測するよりもロボットのパフォーマンスの方向性を伝える方が優れていることがわかります。
私たちの調査結果に基づいて、これらの予測モデルを現実世界のナビゲーション シナリオに実装するためのガイドラインを提供します。

要約(オリジナル)

Human impressions of robot performance are often measured through surveys. As a more scalable and cost-effective alternative, we study the possibility of predicting people’s impressions of robot behavior using non-verbal behavioral cues and machine learning techniques. To this end, we first contribute the SEAN TOGETHER Dataset consisting of observations of an interaction between a person and a mobile robot in a Virtual Reality simulation, together with impressions of robot performance provided by users on a 5-point scale. Second, we contribute analyses of how well humans and supervised learning techniques can predict perceived robot performance based on different combinations of observation types (e.g., facial, spatial, and map features). Our results show that facial expressions alone provide useful information about human impressions of robot performance; but in the navigation scenarios we tested, spatial features are the most critical piece of information for this inference task. Also, when evaluating results as binary classification (rather than multiclass classification), the F1-Score of human predictions and machine learning models more than doubles, showing that both are better at telling the directionality of robot performance than predicting exact performance ratings. Based on our findings, we provide guidelines for implementing these predictions models in real-world navigation scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google