GainAdaptor: Learning Quadrupedal Locomotion with Dual Actors for Adaptable and Energy-Efficient Walking on Various Terrains

要約

深層強化学習 (DRL) は、ミニマリスト アーキテクチャを使用して困難な環境で脚式ロボットを制御するための革新的なソリューションとして登場しました。
逆ダイナミクスなどの脚式ロボットの従来の制御方法では、関節トルクを直接管理するか、比例微分 (PD) コントローラーを使用して関節の位置をより高いレベルで制御します。
DRL の場合、直接トルク制御には大きな課題があり、関節位置制御が優先されます。
ただし、このアプローチではジョイント PD ゲインを慎重に調整する必要があり、適応性と効率の両方が制限される可能性があります。
この論文では、地形適応性とエネルギー効率を向上させるために共同 PD ゲインを自律的に調整する適応ゲイン制御フレームワークである GainAdaptor を提案します。
このフレームワークはデュアルアクター アルゴリズムを採用し、変化する地面条件に基づいて PD ゲインを動的に調整します。
分割された動作空間を利用することで、GainAdaptor は安定したエネルギー効率の高い移動を効率的に学習します。
Unitree Go1 ロボットで行われた実験を通じて、提案された方法の有効性を検証し、さまざまな地形での移動性能の向上を実証しました。

要約(オリジナル)

Deep reinforcement learning (DRL) has emerged as an innovative solution for controlling legged robots in challenging environments using minimalist architectures. Traditional control methods for legged robots, such as inverse dynamics, either directly manage joint torques or use proportional-derivative (PD) controllers to regulate joint positions at a higher level. In case of DRL, direct torque control presents significant challenges, leading to a preference for joint position control. However, this approach necessitates careful adjustment of joint PD gains, which can limit both adaptability and efficiency. In this paper, we propose GainAdaptor, an adaptive gain control framework that autonomously tunes joint PD gains to enhance terrain adaptability and energy efficiency. The framework employs a dual-actor algorithm to dynamically adjust the PD gains based on varying ground conditions. By utilizing a divided action space, GainAdaptor efficiently learns stable and energy-efficient locomotion. We validate the effectiveness of the proposed method through experiments conducted on a Unitree Go1 robot, demonstrating improved locomotion performance across diverse terrains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google