DynSyn: Dynamical Synergistic Representation for Efficient Learning and Control in Overactuated Embodied Systems

要約

高次元の過作動システムを制御するための効果的なポリシーを学習することは、深層強化学習アルゴリズムにとって大きな課題です。
このような制御シナリオは、脊椎動物の筋骨格系の神経制御でよく観察されます。
これらの制御メカニズムを研究することで、高次元の過作動システムの制御についての洞察が得られます。
神経力学では筋肉の相乗効果として知られるアクチュエーターの調整は、運動コマンドの生成を簡素化する推定的なメカニズムと考えられています。
システムの動的構造はその機能の基礎であり、アクチュエーターの相乗的な表現を導き出すことができます。
この理論に基づいて、我々は動的相乗表現 (DynSyn) アルゴリズムを提案します。
DynSyn は、動的構造から相乗的な表現を生成し、タスク固有の状態依存の表現への適応を実行してモーター制御を改善することを目的としています。
私たちは、さまざまな筋骨格モデルを含むさまざまなタスクにわたる DynSyn の効率を実証し、ベースライン アルゴリズムと比較して最先端のサンプル効率と堅牢性を実現します。
DynSyn は、動的構造の本質的な特徴を捉え、さまざまな運動タスクにわたる一般化可能性を実証する、解釈可能な相乗的表現を生成します。

要約(オリジナル)

Learning an effective policy to control high-dimensional, overactuated systems is a significant challenge for deep reinforcement learning algorithms. Such control scenarios are often observed in the neural control of vertebrate musculoskeletal systems. The study of these control mechanisms will provide insights into the control of high-dimensional, overactuated systems. The coordination of actuators, known as muscle synergies in neuromechanics, is considered a presumptive mechanism that simplifies the generation of motor commands. The dynamical structure of a system is the basis of its function, allowing us to derive a synergistic representation of actuators. Motivated by this theory, we propose the Dynamical Synergistic Representation (DynSyn) algorithm. DynSyn aims to generate synergistic representations from dynamical structures and perform task-specific, state-dependent adaptation to the representations to improve motor control. We demonstrate DynSyn’s efficiency across various tasks involving different musculoskeletal models, achieving state-of-the-art sample efficiency and robustness compared to baseline algorithms. DynSyn generates interpretable synergistic representations that capture the essential features of dynamical structures and demonstrates generalizability across diverse motor tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google