An Efficient Learning Control Framework With Sim-to-Real for String-Type Artificial Muscle-Driven Robotic Systems

要約

人工筋肉によって駆動されるロボット システムには、アクチュエータの非線形力学と機械構造の複雑な設計により、独特の課題が存在します。
従来のモデルベースのコントローラーは、このようなシステムで望ましい制御パフォーマンスを達成するのに苦労することがよくあります。
深層強化学習 (DRL) は、ロボット制御で広く採用されているトレンドの機械学習技術であり、有望な代替手段を提供します。
ただし、DRL をこれらのロボット システムに統合するには、大量のトレーニング データの必要性や、現実世界のロボットに展開する際の避けられないシミュレーションと現実のギャップなど、重大な課題に直面しています。
この論文では、これらの課題に対処するために、sim-to-real 転送を備えた効率的な強化学習制御フレームワークを提案します。
ブートストラップと拡張機能の強化は、ベースライン DRL アルゴリズムのデータ効率を向上させるように設計されており、シミュレーションと現実世界の展開の間のギャップを埋めるために、シミュレーションから現実への転送技術、つまり筋肉ダイナミクスのランダム化が採用されています。
2自由度ロボットアイと平行ロボット手首を含む2つの紐型人工筋肉駆動ロボットシステムを利用して広範な実験とアブレーション研究が実施され、その結果は提案された学習制御戦略の有効性を実証しています。

要約(オリジナル)

Robotic systems driven by artificial muscles present unique challenges due to the nonlinear dynamics of actuators and the complex designs of mechanical structures. Traditional model-based controllers often struggle to achieve desired control performance in such systems. Deep reinforcement learning (DRL), a trending machine learning technique widely adopted in robot control, offers a promising alternative. However, integrating DRL into these robotic systems faces significant challenges, including the requirement for large amounts of training data and the inevitable sim-to-real gap when deployed to real-world robots. This paper proposes an efficient reinforcement learning control framework with sim-to-real transfer to address these challenges. Bootstrap and augmentation enhancements are designed to improve the data efficiency of baseline DRL algorithms, while a sim-to-real transfer technique, namely randomization of muscle dynamics, is adopted to bridge the gap between simulation and real-world deployment. Extensive experiments and ablation studies are conducted utilizing two string-type artificial muscle-driven robotic systems including a two degree-of-freedom robotic eye and a parallel robotic wrist, the results of which demonstrate the effectiveness of the proposed learning control strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google