An Efficient Learning Control Framework With Sim-to-Real for String-Type Artificial Muscle-Driven Robotic Systems

要約

人工筋肉によって駆動されるロボットシステムは、アクチュエーターの非線形ダイナミクスと機械構造の複雑な設計により、独自の課題を提示します。
従来のモデルベースのコントローラーは、多くの場合、このようなシステムで望ましい制御性能を達成するのに苦労しています。
ロボット制御に広く採用されているトレンド機械学習技術であるディープ補強学習（DRL）は、有望な代替手段を提供します。
ただし、これらのロボットシステムにDRLを統合すると、大量のトレーニングデータの要件や、実際のロボットに展開されたときの避けられないSIMからリアルギャップなど、重要な課題に直面しています。
このペーパーでは、これらの課題に対処するために、SIMから現実的な転送を備えた効率的な強化学習制御フレームワークを提案しています。
ブートストラップと増強の強化は、ベースラインDRLアルゴリズムのデータ効率を改善するように設計されていますが、SIMからリアルへの転送手法、つまり筋肉のダイナミクスのランダム化が採用され、シミュレーションと現実世界の展開とのギャップを埋めるために採用されます。
広範な実験とアブレーション研究は、2つのフリードームのロボットの眼と並列ロボットリストを含む2つの弦型の人工筋肉駆動型ロボットシステムを使用して実施されます。

要約(オリジナル)

Robotic systems driven by artificial muscles present unique challenges due to the nonlinear dynamics of actuators and the complex designs of mechanical structures. Traditional model-based controllers often struggle to achieve desired control performance in such systems. Deep reinforcement learning (DRL), a trending machine learning technique widely adopted in robot control, offers a promising alternative. However, integrating DRL into these robotic systems faces significant challenges, including the requirement for large amounts of training data and the inevitable sim-to-real gap when deployed to real-world robots. This paper proposes an efficient reinforcement learning control framework with sim-to-real transfer to address these challenges. Bootstrap and augmentation enhancements are designed to improve the data efficiency of baseline DRL algorithms, while a sim-to-real transfer technique, namely randomization of muscle dynamics, is adopted to bridge the gap between simulation and real-world deployment. Extensive experiments and ablation studies are conducted utilizing two string-type artificial muscle-driven robotic systems including a two degree-of-freedom robotic eye and a parallel robotic wrist, the results of which demonstrate the effectiveness of the proposed learning control strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google