SYNLOCO: Synthesizing Central Pattern Generator and Reinforcement Learning for Quadruped Locomotion

要約

セントラル パターン ジェネレーター (CPG) は、一貫したタイミングと適切な足のクリアランスを特徴とするリズミカルな歩行パターンの生成に優れています。
しかし、その開ループ構成により、環境の変化に応じてシステムの制御性能が損なわれることがよくあります。
一方、モデルフリーの特性で知られる強化学習 (RL) は、その固有の適応性と堅牢性により、ロボット工学で大きな注目を集めています。
ただし、従来の RL アプローチをゼロから開始すると、計算上の課題が生じ、次善の極小値に収束するリスクが高まります。
本稿では、CPG と RL を統合することにより、両方の手法の長所を巧みに統合し、安定性と自然性を兼ね備えた移動制御装置の開発を可能にする、革新的な四足歩行フレームワーク SYNLOCO を提案します。
さらに、移動制御の学習を強化する一連のパフォーマンス主導型の報酬メトリクスを導入します。
SYNLOCO の学習軌道を最適化するために、2 段階のトレーニング戦略が提示されます。
異なる速度、地形、積載量などのさまざまな条件下で Unitree GO1 ロボットに対して実施された実証評価は、SYNLOCO がさまざまなシナリオにわたって一貫した明瞭な歩行を実現できることを示しています。
開発されたコントローラーは、パラメーターの大幅な変動に対して回復力を示し、堅牢な現実世界のアプリケーションの可能性を強調しています。

要約(オリジナル)

The Central Pattern Generator (CPG) is adept at generating rhythmic gait patterns characterized by consistent timing and adequate foot clearance. Yet, its open-loop configuration often compromises the system’s control performance in response to environmental variations. On the other hand, Reinforcement Learning (RL), celebrated for its model-free properties, has gained significant traction in robotics due to its inherent adaptability and robustness. However, initiating traditional RL approaches from the ground up presents computational challenges and a heightened risk of converging to suboptimal local minima. In this paper, we propose an innovative quadruped locomotion framework, SYNLOCO, by synthesizing CPG and RL that can ingeniously integrate the strengths of both methods, enabling the development of a locomotion controller that is both stable and natural. Furthermore, we introduce a set of performance-driven reward metrics that augment the learning of locomotion control. To optimize the learning trajectory of SYNLOCO, a two-phased training strategy is presented. Our empirical evaluation, conducted on a Unitree GO1 robot under varied conditions–including distinct velocities, terrains, and payload capacities–showcases SYNLOCO’s ability to produce consistent and clear-footed gaits across diverse scenarios. The developed controller exhibits resilience against substantial parameter variations, underscoring its potential for robust real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google