Motion Control of High-Dimensional Musculoskeletal Systems with Hierarchical Model-Based Planning

要約

生物学的およびロボット的アプリケーションに見られるような高次元の非線形システムを制御することは、大きな状態および行動スペースのために困難です。
深い強化学習はこれらのドメインで多くの成功を収めていますが、計算的に集中的かつ時間がかかるため、重要な手動チューニングを必要とするタスクの大規模なコレクションを解決するのに適していません。
この作業では、ゼロショットの階層モデルベースの学習アルゴリズムであり、高次元の複雑な動的システムのほぼリアルタイム制御のための階層モデルベースの学習アルゴリズムであるモデル予測制御（MPC^2）を導入します。
MPC^2は、ターゲット姿勢計画にサンプリングベースのモデル予測コントローラーを使用し、アクチュエータ調整のために形態に対応する比例コントローラーを組み込むことにより、高次元タスクの堅牢な制御を可能にします。
このアルゴリズムは、立っている、さまざまな地形を歩く、スポーツ活動の模倣など、さまざまなモーションタスクで高次元のヒト筋骨格モデルのモーション制御を可能にします。
MPC^2の報酬機能は、ブラックボックスの最適化を介して調整でき、人間の集約的な報酬エンジニアリングの必要性を大幅に減らします。

要約(オリジナル)

Controlling high-dimensional nonlinear systems, such as those found in biological and robotic applications, is challenging due to large state and action spaces. While deep reinforcement learning has achieved a number of successes in these domains, it is computationally intensive and time consuming, and therefore not suitable for solving large collections of tasks that require significant manual tuning. In this work, we introduce Model Predictive Control with Morphology-aware Proportional Control (MPC^2), a hierarchical model-based learning algorithm for zero-shot and near-real-time control of high-dimensional complex dynamical systems. MPC^2 uses a sampling-based model predictive controller for target posture planning, and enables robust control for high-dimensional tasks by incorporating a morphology-aware proportional controller for actuator coordination. The algorithm enables motion control of a high-dimensional human musculoskeletal model in a variety of motion tasks, such as standing, walking on different terrains, and imitating sports activities. The reward function of MPC^2 can be tuned via black-box optimization, drastically reducing the need for human-intensive reward engineering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google