Learning Bipedal Walking for Humanoids with Current Feedback

要約

シミュレーションでのトレーニングと組み合わせた深層強化学習 (RL) ベースの技術の最近の進歩により、脚付きロボットの制御ポリシーを開発するための新しいアプローチが提供されました。
ただし、実際のハードウェアへのこのようなアプローチの適用は、直接駆動アクチュエータを備えた四足歩行ロボットと、ギア比の低い伝達システムを備えた軽量の二足歩行ロボットに大きく限定されていました。
実物大のヒューマノイド ロボットへの適用は、サイズが大きく、四肢が重く、ギア比の高い伝達システムから生じるシミュレーションと実際のギャップが大きいため、とらえどころのないものでした。
このホワイト ペーパーでは、アクチュエータ レベルでの不正確なトルク トラッキングから生じるヒューマノイド ロボットの sim-to-real ギャップの問題を効果的に克服するためのアプローチを提示します。
私たちの重要なアイデアは、不十分なトルク追跡で人為的に劣化したシミュレーション環境でポリシーをトレーニングした後、実際のロボットのモーターからの電流フィードバックを利用することです。
私たちのアプローチは、困難な地形での二足歩行のために実際のHRP-5Pヒューマノイドロボットに展開できるシミュレーションでエンドツーエンドのポリシーをうまくトレーニングします。
また、RL ポリシーの堅牢性テストを実行し、そのパフォーマンスを、不均一な地形を歩くための従来のモデルベースのコントローラーと比較します。
YouTube 動画: https://youtu.be/IeUaSsBRbNY

要約(オリジナル)

Recent advances in deep reinforcement learning (RL) based techniques combined with training in simulation have offered a new approach to developing control policies for legged robots. However, the application of such approaches to real hardware has largely been limited to quadrupedal robots with direct-drive actuators and light-weight bipedal robots with low gear-ratio transmission systems. Application to life-sized humanoid robots has been elusive due to the large sim-to-real gap arising from their large size, heavier limbs, and a high gear-ratio transmission systems. In this paper, we present an approach for effectively overcoming the sim-to-real gap issue for humanoid robots arising from inaccurate torque tracking at the actuator level. Our key idea is to utilize the current feedback from the motors on the real robot, after training the policy in a simulation environment artificially degraded with poor torque tracking. Our approach successfully trains an end-to-end policy in simulation that can be deployed on a real HRP-5P humanoid robot for bipedal locomotion on challenging terrain. We also perform robustness tests on the RL policy and compare its performance against a conventional model-based controller for walking on uneven terrain. YouTube video: https://youtu.be/IeUaSsBRbNY

arxiv情報

提供元, 利用サービス

arxiv.jp, Google