Learning Torque Control for Quadrupedal Locomotion

要約

強化学習 (RL) は、四足歩行ロボットのコントローラーを開発するための有望なアプローチになっています。
従来、移動のための RL 設計は位置ベースのパラダイムに従います。このパラダイムでは、RL ポリシーが低周波数で目標関節位置を出力し、高周波数の比例微分 (PD) コントローラーによって追跡され、関節トルクを生成します。
対照的に、四足歩行のモデルベース制御では、位置ベースの制御からトルクベースの制御へのパラダイムシフトが起こっています。
モデルベース制御の最近の進歩に照らして、トルクベースの RL フレームワークを導入することにより、位置ベースの RL パラダイムの代替手段を探ります。
PDコントローラーの。
提案された学習トルク制御フレームワークは、四足動物がさまざまな地形を横断し、ユーザー指定のコマンドに従いながら外乱に抵抗することができる広範な実験で検証されています。
さらに、位置制御の学習と比較して、トルク制御の学習は、より高い報酬を達成する可能性を示し、重大な外乱に対してよりロバストです。
私たちの知る限り、これは四足歩行のエンドツーエンドの学習トルク制御のための最初の sim-to-real の試みです。

要約(オリジナル)

Reinforcement learning (RL) has become a promising approach to developing controllers for quadrupedal robots. Conventionally, an RL design for locomotion follows a position-based paradigm, wherein an RL policy outputs target joint positions at a low frequency that are then tracked by a high-frequency proportional-derivative (PD) controller to produce joint torques. In contrast, for the model-based control of quadrupedal locomotion, there has been a paradigm shift from position-based control to torque-based control. In light of the recent advances in model-based control, we explore an alternative to the position-based RL paradigm, by introducing a torque-based RL framework, where an RL policy directly predicts joint torques at a high frequency, thus circumventing the use of a PD controller. The proposed learning torque control framework is validated with extensive experiments, in which a quadruped is capable of traversing various terrain and resisting external disturbances while following user-specified commands. Furthermore, compared to learning position control, learning torque control demonstrates the potential to achieve a higher reward and is more robust to significant external disturbances. To our knowledge, this is the first sim-to-real attempt for end-to-end learning torque control of quadrupedal locomotion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google