Deep learning framework for action prediction reveals multi-timescale locomotor control

要約

現実世界のタスクにおけるモデリングの動きは、運動制御、生体力学、リハビリテーション工学の基本的な目標です。
ただし、移動などの重要なタスクの広く使用されているデータ駆動型モデルは、過去の入力と将来のアクションの間の線形および固定タイムスケールマッピングなど、現実世界のコンテキストに一般化されない将来のアクションなどの単純化された仮定を作成します。
ここでは、アーキテクチャ依存の試行埋め込み、コンテキスト（ウォーキングとランニング、トレッドミルと地上、さまざまな地形）と入力モダリティ（複数の身体状態、視線）を超えて従来のモデルを上回る、アクション予測のための深い学習ベースのフレームワークを開発します。
GRUやTransformerなどの柔軟な入力履歴依存性を備えたニューラルネットワークアーキテクチャは、全体的に最高のパフォーマンスを発揮することがわかります。
自己回帰ベースラインに対するモデルの予測を定量化することにより、コンテキストとモダリティ依存のタイムスケールを特定します。
これらの分析は、複雑な地形での急速な予測に大きく依存していることを明らかにし、視線は身体状態の前に将来の足の配置を予測し、全身状態の予測は中央に関連する状態に先行するものです。
アクション予測のためのこの深い学習フレームワークは、現実世界の移動の制御に関する定量化可能な洞察を提供し、他のアクション、コンテキスト、および集団に拡張できます。

要約(オリジナル)

Modeling movement in real-world tasks is a fundamental goal for motor control, biomechanics, and rehabilitation engineering. However, widely used data-driven models of essential tasks like locomotion make simplifying assumptions such as linear and fixed timescale mappings between past inputs and future actions, which do not generalize to real-world contexts. Here, we develop a deep learning-based framework for action prediction with architecture-dependent trial embeddings, outperforming traditional models across contexts (walking and running, treadmill and overground, varying terrains) and input modalities (multiple body states, gaze). We find that neural network architectures with flexible input history-dependence like GRU and Transformer perform best overall. By quantifying the model’s predictions relative to an autoregressive baseline, we identify context- and modality-dependent timescales. These analyses reveal that there is greater reliance on fast-timescale predictions in complex terrain, gaze predicts future foot placement before body states, and the full-body state predictions precede those by center-of-mass-relevant states. This deep learning framework for action prediction provides quantifiable insights into the control of real-world locomotion and can be extended to other actions, contexts, and populations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google