Sim-to-Real Transfer of Compliant Bipedal Locomotion on Torque Sensor-Less Gear-Driven Humanoid

要約

Sim-to-real は、典型的な深層強化学習法で必要とされる多数の試行に対処するための主流の方法です。
ただし、シミュレーションでトレーニングされたポリシーを実際のハードウェアに移行することは、現実のギャップのために未解決の課題のままです。
特に、脚式ロボットのアクチュエータの特性は、sim-to-real 転送に大きな影響を与えます。
2 つの課題があります。1) 高減速比ギアはアクチュエータで広く使用されており、ジョイントを準拠して制御する際にバックドライバビリティを考慮すると、リアリティ ギャップの問題が特に顕著になります。
2) 安定した二足歩行を達成することの難しさは、典型的なシステム同定方法がポリシーを十分に伝達することに失敗する原因となります。
これらの 2 つの課題に対して、1) 歯車の新しいシミュレーション モデルと 2) 失敗した試行を利用できるシステム同定の方法を提案します。
この方法の有効性は、二足歩行ロボット ROBOTIS-OP3 を使用して検証され、sim-to-real 転送ポリシーにより、激しい外乱下でロボットを安定させ、力センサーやトルク センサーを使用せずに凹凸のある表面を歩くことができます。

要約(オリジナル)

Sim-to-real is a mainstream method to cope with the large number of trials needed by typical deep reinforcement learning methods. However, transferring a policy trained in simulation to actual hardware remains an open challenge due to the reality gap. In particular, the characteristics of actuators in legged robots have a considerable influence on sim-to-real transfer. There are two challenges: 1) High reduction ratio gears are widely used in actuators, and the reality gap issue becomes especially pronounced when backdrivability is considered in controlling joints compliantly. 2) The difficulty in achieving stable bipedal locomotion causes typical system identification methods to fail to sufficiently transfer the policy. For these two challenges, we propose 1) a new simulation model of gears and 2) a method for system identification that can utilize failed attempts. The method’s effectiveness is verified using a biped robot, the ROBOTIS-OP3, and the sim-to-real transferred policy can stabilize the robot under severe disturbances and walk on uneven surfaces without using force and torque sensors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google