Towards Multi-User Activity Recognition through Facilitated Training Data and Deep Learning for Human-Robot Collaboration Applications

要約

タイトル：人間-ロボット協業アプリケーションのための深層学習とトレーニングデータによるマルチユーザー活動認識の実現に向けて

要約：
– 現在、ロボットと複数の人間ユーザーが同時に関わる状況に関し、HRI（人間とロボットの相互作用）の研究は進んでいるが、人間-ロボット協業に関してはまだ初期段階にある。
– そのため、このような協業を扱うためには、通常のHRC（人間とロボットの協業）設定よりも生産性が低いデータを扱うことが必要となる。
– この研究では、非双方向HRCアプリケーションの同時タスクのシナリオを概説し、単一のユーザーに関するデータを収集し、後処理でマージしてマルチユーザー活動に関するデータを収集する代替案を提案する。
– この方法で収集されたデータを使用して、2人のユーザーが関連する活動を認識するLSTMネットワークとVAE（変分オートエンコーダー）を訓練し、グループのユーザーに関するトレーニングデータを使用する場合と同等の性能を得ることができることが示された。
– 関連するコードと収集されたデータは公開されている。

要点：
– 人間-ロボット協業に関する研究は初期段階であり、複数ユーザーとの関与に関する研究も進展しているが、それでもまだ課題がある。
– HRC設定よりも生産性の低いデータを扱う必要があるため、単一のユーザーに関するデータからマルチユーザー活動に関するデータを収集する代替案を提案する。
– 収集されたデータを使用して、2人のユーザーが関連する活動を認識するLSTMネットワークとVAEを訓練し、グループのユーザーに関するトレーニングデータを使用する場合と同等の性能を得ることができた。
– 関連するコードと収集されたデータは公開されている。

要約(オリジナル)

Human-robot interaction (HRI) research is progressively addressing multi-party scenarios, where a robot interacts with more than one human user at the same time. Conversely, research is still at an early stage for human-robot collaboration. The use of machine learning techniques to handle such type of collaboration requires data that are less feasible to produce than in a typical HRC setup. This work outlines scenarios of concurrent tasks for non-dyadic HRC applications. Based upon these concepts, this study also proposes an alternative way of gathering data regarding multi-user activity, by collecting data related to single users and merging them in post-processing, to reduce the effort involved in producing recordings of pair settings. To validate this statement, 3D skeleton poses of activity of single users were collected and merged in pairs. After this, such datapoints were used to separately train a long short-term memory (LSTM) network and a variational autoencoder (VAE) composed of spatio-temporal graph convolutional networks (STGCN) to recognise the joint activities of the pairs of people. The results showed that it is possible to make use of data collected in this way for pair HRC settings and get similar performances compared to using training data regarding groups of users recorded under the same settings, relieving from the technical difficulties involved in producing these data. The related code and collected data are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI