A Recurrent Neural Network Enhanced Unscented Kalman Filter for Human Motion Prediction

要約

この論文では、製造現場で人間の腕の動きを予測するための、深層学習により強化された適応型無香料カルマン フィルター (UKF) について説明します。
この論文ではボーン ベクトルとして表される、キャプチャされた人間の動作データのみに依存する以前のネットワーク ベースの方法とは異なり、人間の腕の動的モデルを動作予測アルゴリズムに組み込み、UKF を使用して人間の腕の動作を反復的に予測します。
具体的には、ラグランジュ力学に基づいた物理モデルを使用して、腕の動きと関連する筋力を関連付けます。
次に、リカレント ニューラル ネットワーク (RNN) がフレームワークに統合され、将来の筋力を予測し、その筋力が動的モデルに基づいて将来の腕の動きに戻されます。
状態を更新するために UKF に入力できる将来の人間の動作の測定データが存在しないことを考慮して、別の RNN を統合して人間の将来の動作を直接予測し、その予測を UKF に入力される代理測定データとして扱います。
この研究の注目すべき側面には、データ駆動型モデルと物理モデルの両方に関連する不確実性を 1 つの統一フレームワークで定量化することが含まれます。
これらの定量化された不確実性は、時間の経過とともに UKF の測定とプロセス ノイズを動的に適応させるために使用されます。
RNN モデルの不確実性によって推進されるこの適応は、データ駆動型モデルに起因する不正確さに対処し、想定された物理モデルと真の物理モデル間の不一致を軽減し、最終的に予測の精度と堅牢性を向上させます。
従来の RNN ベースの予測と比較して、私たちの方法は、さまざまな種類の人間の動きの広範な実験検証において、精度と堅牢性が向上していることを実証しています。

要約(オリジナル)

This paper presents a deep learning enhanced adaptive unscented Kalman filter (UKF) for predicting human arm motion in the context of manufacturing. Unlike previous network-based methods that solely rely on captured human motion data, which is represented as bone vectors in this paper, we incorporate a human arm dynamic model into the motion prediction algorithm and use the UKF to iteratively forecast human arm motions. Specifically, a Lagrangian-mechanics-based physical model is employed to correlate arm motions with associated muscle forces. Then a Recurrent Neural Network (RNN) is integrated into the framework to predict future muscle forces, which are transferred back to future arm motions based on the dynamic model. Given the absence of measurement data for future human motions that can be input into the UKF to update the state, we integrate another RNN to directly predict human future motions and treat the prediction as surrogate measurement data fed into the UKF. A noteworthy aspect of this study involves the quantification of uncertainties associated with both the data-driven and physical models in one unified framework. These quantified uncertainties are used to dynamically adapt the measurement and process noises of the UKF over time. This adaption, driven by the uncertainties of the RNN models, addresses inaccuracies stemming from the data-driven model and mitigates discrepancies between the assumed and true physical models, ultimately enhancing the accuracy and robustness of our predictions. Compared to the traditional RNN-based prediction, our method demonstrates improved accuracy and robustness in extensive experimental validations of various types of human motions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google