Puppeteer and Marionette: Learning Anticipatory Quadrupedal Locomotion Based on Interactions of a Central Pattern Generator and Supraspinal Drive

要約

四足動物の移動は、脊髄中枢パターン発生器 (CPG)、感覚フィードバック、および脳からの脊髄駆動信号の間の相互作用から生じます。
CPG の計算モデルは、計算神経科学および生物にヒントを得たロボット工学における動物の運動制御への脊髄の寄与を調査するために広く使用されてきました。
しかし、予測行動、つまり、事前に計画を立てることを含む運動行動 (足音の配置など) に対する棘上駆動の寄与は、まだ適切に理解されていません。
特に、正確な足の配置のために、脳が CPG 活動を調節するかどうか、および/または筋肉活動を直接調節する (したがって CPG をバイパスする) かどうかは明らかではありません。
この論文では、ギャップをまたぐことを含む予測的移動シナリオにおける脊椎上ドライブと CPG の相互作用を調査します。
深層強化学習 (DRL) を採用することにより、棘上ドライブ動作を複製するニューラル ネットワーク ポリシーをトレーニングします。
このポリシーは、CPG ダイナミクスを調整するか、作動信号を直接変更して CPG ダイナミクスをバイパスすることができます。
私たちの結果は、アクチュエーション信号への直接的な棘上寄与が、高いギャップ横断成功率の重要な要素であることを示しています。
ただし、脊髄の CPG ダイナミクスは、歩行の滑らかさとエネルギー効率に有益です。
さらに、私たちの調査は、ギャップまでの前足の距離を感知することが、ギャップ横断を学習するための最も重要かつ十分な感覚情報であることを示しています。
私たちの結果は、猫と馬が障害物を回避するために主に前足を制御し、後肢は前肢の情報に基づく内部記憶に従うという生物学的仮説を支持しています。
この方法により、四足歩行ロボットは、明示的なダイナミクス モデリングやモデル予測制御 (MPC) を使用せずに、最大 20 cm (体長の 50%) のギャップを越えることができます。

要約(オリジナル)

Quadruped animal locomotion emerges from the interactions between the spinal central pattern generator (CPG), sensory feedback, and supraspinal drive signals from the brain. Computational models of CPGs have been widely used for investigating the spinal cord contribution to animal locomotion control in computational neuroscience and in bio-inspired robotics. However, the contribution of supraspinal drive to anticipatory behavior, i.e. motor behavior that involves planning ahead of time (e.g. of footstep placements), is not yet properly understood. In particular, it is not clear whether the brain modulates CPG activity and/or directly modulates muscle activity (hence bypassing the CPG) for accurate foot placements. In this paper, we investigate the interaction of supraspinal drive and a CPG in an anticipatory locomotion scenario that involves stepping over gaps. By employing deep reinforcement learning (DRL), we train a neural network policy that replicates the supraspinal drive behavior. This policy can either modulate the CPG dynamics, or directly change actuation signals to bypass the CPG dynamics. Our results indicate that the direct supraspinal contribution to the actuation signal is a key component for a high gap crossing success rate. However, the CPG dynamics in the spinal cord are beneficial for gait smoothness and energy efficiency. Moreover, our investigation shows that sensing the front feet distances to the gap is the most important and sufficient sensory information for learning gap crossing. Our results support the biological hypothesis that cats and horses mainly control the front legs for obstacle avoidance, and that hind limbs follow an internal memory based on the front limbs’ information. Our method enables the quadruped robot to cross gaps of up to 20 cm (50% of body-length) without any explicit dynamics modeling or Model Predictive Control (MPC).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google