Multimodal Sensing and Machine Learning to Compare Printed and Verbal Assembly Instructions Delivered by a Social Robot

要約

このホワイトペーパーでは、印刷された指示とロボット配信の両方の指示を使用して、労働者と通信された手動アセンブリタスクを比較します。
この比較は、実験的研究中に個人から収集された生理学的信号（血液量パルス（BVP）および電気皮膚活性（EDA））を使用して行われました。
さらに、NASAタスクロードインデックス（TLX）調査を使用して、個人の回答も収集しました。
さらに、収集された生理学的信号をNASA TLXの参加者の応答にマッピングして、ワークロードを予測しました。
両方の分類問題について、畳み込みニューラルネットワーク（CNNS）と長期記憶（LSTM）モデルの性能を比較します。
結果は、マルチモーダルデータ（BVPとEDAの両方）を使用したCNNベースのアプローチでは、BVP（約8.38％）およびEDA（約20.49％多く）を使用するよりも良い結果をもたらしたことを示しています。
私たちのLSTMベースのモデルも、マルチモーダルデータを使用した場合、より良い結果をもたらしました（BVPよりも約8.38％多く、EDAよりも6.70％多い）。
全体として、CNNSは、紙とロボットベースの指導の生理学を7.72％分類するためにLSTMよりも優れたパフォーマンスを発揮しました。
CNNベースのモデルは、LSTMベースのモデルと比較して、トレーニングから数分以内に、より良い分類結果（NASA TLXのすべての応答にわたって平均で約17.83％増加）を提供することができました。

要約(オリジナル)

In this paper, we compare a manual assembly task communicated to workers using both printed and robot-delivered instructions. The comparison was made using physiological signals (blood volume pulse (BVP) and electrodermal activity (EDA)) collected from individuals during an experimental study. In addition, we also collected responses of individuals using the NASA Task Load Index (TLX) survey. Furthermore, we mapped the collected physiological signals to the responses of participants for NASA TLX to predict their workload. For both the classification problems, we compare the performance of Convolutional Neural Networks (CNNs) and Long-Short-Term Memory (LSTM) models. Results show that for our CNN-based approach using multimodal data (both BVP and EDA) gave better results than using just BVP (approx. 8.38% more) and EDA (approx 20.49% more). Our LSTM-based model too had better results when we used multimodal data (approx 8.38% more than just BVP and 6.70% more than just EDA). Overall, CNNs performed better than LSTMs for classifying physiologies for paper vs robot-based instruction by 7.72%. The CNN-based model was able to give better classification results (approximately 17.83% more on an average across all responses of the NASA TLX) within a few minutes of training compared to the LSTM-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google