Towards Multi-User Activity Recognition through Facilitated Training Data and Deep Learning for Human-Robot Collaboration Applications

要約

ヒューマン ロボット インタラクション (HRI) 研究では、ロボットが同時に複数の人間ユーザーと対話するマルチパーティ シナリオに徐々に取り組んでいます。
逆に、人間とロボットのコラボレーションについては、研究はまだ初期段階にあります。
このような種類のコラボレーションを処理するために機械学習技術を使用するには、一般的な HRC 設定よりも生成するのが現実的ではないデータが必要です。
この作業では、非二項 HRC アプリケーションの同時タスクのシナリオの概要を説明します。
これらの概念に基づいて、この研究では、ペア設定の記録作成にかかる労力を軽減するために、単一ユーザーに関連するデータを収集し、後処理でそれらをマージすることにより、マルチユーザーのアクティビティに関するデータを収集する代替方法も提案しています。
このステートメントを検証するために、単一ユーザーのアクティビティの 3D スケルトン ポーズが収集され、ペアでマージされました。
その後、そのようなデータポイントを使用して、長短期記憶 (LSTM) ネットワークと、時空間グラフ畳み込みネットワーク (STGCN) で構成される変分オートエンコーダー (VAE) を個別にトレーニングし、ペアの人々の共同活動を認識しました。
結果は、この方法で収集されたデータをペア HRC 設定に利用することが可能であり、同じ設定で記録されたユーザーのグループに関するトレーニング データを使用する場合と比較して、同様のパフォーマンスを得ることができ、これらのデータの作成に伴う技術的な困難を軽減できることがわかりました。
関連するコードと収集されたデータは公開されています。

要約(オリジナル)

Human-robot interaction (HRI) research is progressively addressing multi-party scenarios, where a robot interacts with more than one human user at the same time. Conversely, research is still at an early stage for human-robot collaboration. The use of machine learning techniques to handle such type of collaboration requires data that are less feasible to produce than in a typical HRC setup. This work outlines scenarios of concurrent tasks for non-dyadic HRC applications. Based upon these concepts, this study also proposes an alternative way of gathering data regarding multi-user activity, by collecting data related to single users and merging them in post-processing, to reduce the effort involved in producing recordings of pair settings. To validate this statement, 3D skeleton poses of activity of single users were collected and merged in pairs. After this, such datapoints were used to separately train a long short-term memory (LSTM) network and a variational autoencoder (VAE) composed of spatio-temporal graph convolutional networks (STGCN) to recognise the joint activities of the pairs of people. The results showed that it is possible to make use of data collected in this way for pair HRC settings and get similar performances compared to using training data regarding groups of users recorded under the same settings, relieving from the technical difficulties involved in producing these data. The related code and collected data are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google