Robust Humanoid Walking on Compliant and Uneven Terrain with Deep Reinforcement Learning

要約

現実世界の環境での脚のロボットの展開には、予期しない変形性と不規則性を示す可能性のある地形に挑戦するための堅牢な運動制御方法を開発することが不可欠です。
このホワイトペーパーでは、準拠および不均一な地形でのヒューマノイドロボット用の二足歩行運動コントローラーの設計にSIM-to-Real Deep Renection Learning（RL）の適用を調査します。
私たちの重要な貢献は、シミュレーションでRLエージェントをランダム化された地形にさらすための簡単なトレーニングカリキュラムが、固有受容フィードバックのみを使用して実際のヒューマノイドロボットで堅牢な歩行を実現できることを示すことです。
提案されたアプローチを使用してエンドツーエンドの二足歩行運動ポリシーをトレーニングし、ラボ環境内外のいくつかの困難な地形にわたってHRP-5Pヒューマノイドに関する広範なレアルロボットデモンストレーションを示します。
さらに、ロボットがさまざまなステッピング周波数のあるlobot幅を示すことが許可されている場合、二足歩行の歩行ポリシーの堅牢性を改善できると主張します。
観測されたクロック信号の変更を有効にするための新しい制御ポリシーを提案し、地形とコマンド速度に応じて適応的な歩行頻度につながります。
シミュレーション実験を通じて、スイングとスタンスの期間を制御することにより、挑戦的な地形を歩き回るためのこのポリシーの有効性を示します。
トレーニングと評価のコードは、https：//github.com/rohanpsingh/learninghumanoidwalkingでオンラインで入手できます。
デモビデオはhttps://www.youtube.com/watch?v=zgfnzgakk2qで入手できます。

要約(オリジナル)

For the deployment of legged robots in real-world environments, it is essential to develop robust locomotion control methods for challenging terrains that may exhibit unexpected deformability and irregularity. In this paper, we explore the application of sim-to-real deep reinforcement learning (RL) for the design of bipedal locomotion controllers for humanoid robots on compliant and uneven terrains. Our key contribution is to show that a simple training curriculum for exposing the RL agent to randomized terrains in simulation can achieve robust walking on a real humanoid robot using only proprioceptive feedback. We train an end-to-end bipedal locomotion policy using the proposed approach, and show extensive real-robot demonstration on the HRP-5P humanoid over several difficult terrains inside and outside the lab environment. Further, we argue that the robustness of a bipedal walking policy can be improved if the robot is allowed to exhibit aperiodic motion with variable stepping frequency. We propose a new control policy to enable modification of the observed clock signal, leading to adaptive gait frequencies depending on the terrain and command velocity. Through simulation experiments, we show the effectiveness of this policy specifically for walking over challenging terrains by controlling swing and stance durations. The code for training and evaluation is available online at https://github.com/rohanpsingh/LearningHumanoidWalking. Demo video is available at https://www.youtube.com/watch?v=ZgfNzGAkk2Q.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google