Sim-to-Real Transfer of Compliant Bipedal Locomotion on Torque Sensor-Less Gear-Driven Humanoid

要約

Sim-to-real は、一般的な深層強化学習手法で必要となる多数の試行に対処するための主流の手法です。
ただし、シミュレーションでトレーニングされたポリシーを実際のハードウェアに移行することは、現実とのギャップにより依然として課題が残されています。
特に、脚式ロボットのアクチュエータの特性は、シミュレーションからリアルへの変換に大きな影響を与えます。
2 つの課題があります。 1) 高減速比ギアがアクチュエータに広く使用されており、ジョイントをコンプライアンスに制御する際にバックドライブ性を考慮する場合、リアリティ ギャップの問題が特に顕著になります。
2) 安定した二足歩行を実現することが難しいため、一般的なシステム同定手法ではポリシーを十分に伝達できません。
これら 2 つの課題に対して、1) 歯車の新しいシミュレーション モデル、2) 失敗した試行を利用できるシステム同定方法を提案します。
この方法の有効性は、二足歩行ロボット ROBOTIS-OP3 を使用して検証されており、シミュレートから現実への移行ポリシーにより、力センサーやトルク センサーを使用せずに、激しい外乱下でもロボットを安定させ、凹凸のある表面を歩行できます。

要約(オリジナル)

Sim-to-real is a mainstream method to cope with the large number of trials needed by typical deep reinforcement learning methods. However, transferring a policy trained in simulation to actual hardware remains an open challenge due to the reality gap. In particular, the characteristics of actuators in legged robots have a considerable influence on sim-to-real transfer. There are two challenges: 1) High reduction ratio gears are widely used in actuators, and the reality gap issue becomes especially pronounced when backdrivability is considered in controlling joints compliantly. 2) The difficulty in achieving stable bipedal locomotion causes typical system identification methods to fail to sufficiently transfer the policy. For these two challenges, we propose 1) a new simulation model of gears and 2) a method for system identification that can utilize failed attempts. The method’s effectiveness is verified using a biped robot, the ROBOTIS-OP3, and the sim-to-real transferred policy can stabilize the robot under severe disturbances and walk on uneven surfaces without using force and torque sensors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google