Simultaneous Action Recognition and Human Whole-Body Motion and Dynamics Prediction from Wearable Sensors

要約

この論文では、人間の活動の認識と、リアルタイム アプリケーションのための全身の動きとダイナミクスの予測の問題を同時に解決するための新しいアプローチを紹介します。
人間の運動のダイナミクスと運動システム理論から始めて、ディープ ラーニングの専門家の混合という概念を拡張して、この問題に対処しました。
提案されたアプローチでは、エキスパートはシーケンスからシーケンスへの再帰型ニューラル ネットワーク (RNN) アーキテクチャとしてモデル化されます。
実験では、歩行や回転などのさまざまなタスク中の 66-DoF 現実世界の人間の動き予測と行動認識の結果が示されています。
この論文に関連するコードは、\url{github.com/ami-iit/paper_darvish_2022_humanoids_action-kindyn-predicition} で入手できます。

要約(オリジナル)

This paper presents a novel approach to solve simultaneously the problems of human activity recognition and whole-body motion and dynamics prediction for real-time applications. Starting from the dynamics of human motion and motor system theory, the notion of mixture of experts from deep learning has been extended to address this problem. In the proposed approach, experts are modelled as a sequence-to-sequence recurrent neural networks (RNN) architecture. Experiments show the results of 66-DoF real-world human motion prediction and action recognition during different tasks like walking and rotating. The code associated with this paper is available at: \url{github.com/ami-iit/paper_darvish_2022_humanoids_action-kindyn-predicition}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google