LiPS: Large-Scale Humanoid Robot Reinforcement Learning with Parallel-Series Structures

要約

近年、ヒューマノイドロボットに関する研究は、特に補強学習ベースのコントロールアルゴリズムにおいて、大きなブレークスルーを達成していることにおいて大きな注目を集めています。
従来のモデルベースの制御アルゴリズムと比較して、補強学習ベースのアルゴリズムは、複雑なタスクの処理において大きな利点を示しています。
GPUの大規模な並列コンピューティング機能を活用すると、現代のヒューマノイドロボットは、シミュレートされた環境で広範な並行トレーニングを受ける可能性があります。
大規模な並列トレーニングが可能な物理シミュレーションプラットフォームは、ヒューマノイドロボットの開発に不可欠です。
最も複雑なロボット形式の1つとして、ヒューマノイドロボットは通常、複雑な機械的構造を持ち、多数のシリーズと並列メカニズムを網羅しています。
ただし、多くの強化学習ベースのヒューマノイドロボット制御アルゴリズムは現在、トレーニング中にオープンループトポロジを採用しており、SIM2real位相までのシリーズ並列構造への変換を延期しています。
現在のGPUベースの物理エンジンは、多くの場合、オープンループトポロジのみをサポートするか、多縁体閉ループトポロジをシミュレートする機能が限られているため、このアプローチは主に物理エンジンの制限によるものです。
強化学習ベースのヒューマノイドロボット制御アルゴリズムを大規模な平行環境でトレーニングできるようにするために、新しいトレーニング方法の唇を提案します。
シミュレーション環境にマルチリジッドボディダイナミクスモデリングを組み込むことにより、モデルの展開中にSim2realギャップと並列構造に変換することの難しさを大幅に削減し、それによりヒューマノイドロボットの大規模な補強学習を堅牢にサポートします。

要約(オリジナル)

In recent years, research on humanoid robots has garnered significant attention, particularly in reinforcement learning based control algorithms, which have achieved major breakthroughs. Compared to traditional model-based control algorithms, reinforcement learning based algorithms demonstrate substantial advantages in handling complex tasks. Leveraging the large-scale parallel computing capabilities of GPUs, contemporary humanoid robots can undergo extensive parallel training in simulated environments. A physical simulation platform capable of large-scale parallel training is crucial for the development of humanoid robots. As one of the most complex robot forms, humanoid robots typically possess intricate mechanical structures, encompassing numerous series and parallel mechanisms. However, many reinforcement learning based humanoid robot control algorithms currently employ open-loop topologies during training, deferring the conversion to series-parallel structures until the sim2real phase. This approach is primarily due to the limitations of physics engines, as current GPU-based physics engines often only support open-loop topologies or have limited capabilities in simulating multi-rigid-body closed-loop topologies. For enabling reinforcement learning-based humanoid robot control algorithms to train in large-scale parallel environments, we propose a novel training method LiPS. By incorporating multi-rigid-body dynamics modeling in the simulation environment, we significantly reduce the sim2real gap and the difficulty of converting to parallel structures during model deployment, thereby robustly supporting large-scale reinforcement learning for humanoid robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google