Deep learning framework for action prediction reveals multi-timescale locomotor control

要約

現実世界のタスクにおける人間の動きのモデリングは、運動制御、生体力学、リハビリテーション工学の基本的な目標です。
ただし、移動などの重要なタスクの既存のモデルは、さまざまな地形、機械的条件、感覚コンテキストに適用できません。
これは、少なくとも部分的には、入力と将来のアクション間の線形および固定タイムスケールのマッピングなどの仮定を簡素化するためですが、これは広く適用されない可能性があります。
ここでは、アクション予測のための深い学習ベースのフレームワークを開発し、複数のコンテキスト（ウォーキングとランニング、トレッドミル、地上、さまざまな地形）と入力モダリティ（複数の身体状態、視覚的視線）にわたって従来のモデルよりも優れています。
GRUやTransformerなどの柔軟な入力履歴依存性を備えたニューラルネットワークアーキテクチャ、およびアーキテクチャ依存の試験埋め込みが全体的に最も優れていることがわかります。
自己回帰ベースラインに対するモデルの予測を定量化することにより、コンテキストとモダリティ依存のタイムスケールを特定します。
これらの分析は、複雑な地形での急速な予測に大きく依存していることを明らかにしており、視線は体の状態の前に将来の足の配置を予測し、全身状態の予測はマスの状態に先行するものです。
人間の行動予測のためのこの深い学習フレームワークは、現実世界の移動の制御に関する定量化可能な洞察を提供し、他のアクション、コンテキスト、および集団に拡張できます。

要約(オリジナル)

Modeling human movement in real-world tasks is a fundamental goal for motor control, biomechanics, and rehabilitation engineering. However, existing models of essential tasks like locomotion are not applicable across varying terrain, mechanical conditions, and sensory contexts. This is at least in part due to simplifying assumptions like linear and fixed timescales mappings between inputs and future actions, which may not be broadly applicable. Here, we develop a deep learning-based framework for action prediction, outperforming traditional models across multiple contexts (walking and running, treadmill and overground, varying terrains) and input modalities (multiple body states, visual gaze). We find that neural network architectures with flexible input history-dependence, like GRU and Transformer, and with architecture-dependent trial embeddings perform best overall. By quantifying the model’s predictions relative to an autoregressive baseline, we identify context- and modality-dependent timescales. These analyses reveal that there is greater reliance on fast-timescale predictions in complex terrain, gaze predicts future foot placement before body states, and the full-body state predictions precede those by center-of-mass states. This deep learning framework for human action prediction provides quantifiable insights into the control of real-world locomotion and can be extended to other actions, contexts, and populations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google