Optimal Gait Control for a Tendon-driven Soft Quadruped Robot by Model-based Reinforcement Learning

要約

この研究では、4 つの圧縮性腱駆動ソフト アクチュエータ (CTSA) によって実現される、ソフト四足ロボットの最適な歩行制御への革新的なアプローチを紹介します。
歩行制御にモデルフリー強化学習を使用するこれまでの研究を改良し、モデルベース強化学習 (MBRL) を採用して歩行コントローラーのパフォーマンスをさらに強化しました。
提案された柔らかい四足ロボットは、剛体ロボットと比較して、安全性が高く、重量が軽く、製造と制御のメカニズムがより簡単です。
しかし、主な課題は、高速で安定した移動のための最適な歩行制御を達成するための高度な制御アルゴリズムを開発することにあります。
この研究では、状態空間の制限、データ駆動型モデルのトレーニング、強化学習アルゴリズムの開発など、多段階の方法論が採用されています。
ベンチマーク手法と比較して、提案された MBRL アルゴリズムとポストトレーニングを組み合わせると、歩行制御ポリシーの効率とパフォーマンスが大幅に向上します。
開発されたポリシーは堅牢であり、ロボットの変形可能な形態に適応可能です。
この研究は、これらの発見が現実世界のシナリオに実際に適用できることを強調して締めくくられています。

要約(オリジナル)

This study presents an innovative approach to optimal gait control for a soft quadruped robot enabled by four Compressible Tendon-driven Soft Actuators (CTSAs). Improving our previous studies of using model-free reinforcement learning for gait control, we employ model-based reinforcement learning (MBRL) to further enhance the performance of the gait controller. Compared to rigid robots, the proposed soft quadruped robot has better safety, less weight, and a simpler mechanism for fabrication and control. However, the primary challenge lies in developing sophisticated control algorithms to attain optimal gait control for fast and stable locomotion. The research employs a multi-stage methodology, including state space restriction, data-driven model training, and reinforcement learning algorithm development. Compared to benchmark methods, the proposed MBRL algorithm, combined with post-training, significantly improves the efficiency and performance of gait control policies. The developed policy is both robust and adaptable to the robot’s deformable morphology. The study concludes by highlighting the practical applicability of these findings in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google