Agile and versatile bipedal robot tracking control through reinforcement learning

要約

ダンスや体操などの複雑でダイナミックな動きにおいて人間が示す驚くべき運動知能は、生物のバランス機構が特定の動きのパターンから切り離されていることを示唆しています。
この切り離しにより、全身の微調整を通じてバランスを維持しながら、特定の制約の下で学習した動きと未学習の動きの両方を実行できるようになります。
このバランス能力と体の敏捷性を再現するために、本論文では二足歩行ロボット用の多用途コントローラーを提案します。
このコントローラーは、モデルベースの IK ソルバーと強化学習に基づいた単一の小規模ニューラル ネットワークを使用して、広範囲の歩行にわたって足首と体の軌道追跡を実現します。
私たちはシングルステップを最小の制御単位と考え、あらゆるシングルステップのバリエーションに適した汎用的に適用可能な制御入力形式を設計します。
これらの最小限の制御ユニットと拡張可能な制御インターフェースを介した高レベルのポリシーを組み合わせることで、柔軟性の高い歩行制御を実現できます。
コントローラーの軌道追跡能力を強化するために、私たちは 3 段階のトレーニング カリキュラムを活用しています。
トレーニング後、ロボットはさまざまな距離と高さのターゲット足場の間を自由に移動できるようになります。
また、ロボットは、姿勢を調整するために足踏みを繰り返すことなく、静的バランスを維持することができます。
最後に、さまざまな二足歩行タスクにおけるコントローラーの追跡精度を評価し、制御フレームワークの有効性をシミュレーション環境で検証します。

要約(オリジナル)

The remarkable athletic intelligence displayed by humans in complex dynamic movements such as dancing and gymnastics suggests that the balance mechanism in biological beings is decoupled from specific movement patterns. This decoupling allows for the execution of both learned and unlearned movements under certain constraints while maintaining balance through minor whole-body coordination. To replicate this balance ability and body agility, this paper proposes a versatile controller for bipedal robots. This controller achieves ankle and body trajectory tracking across a wide range of gaits using a single small-scale neural network, which is based on a model-based IK solver and reinforcement learning. We consider a single step as the smallest control unit and design a universally applicable control input form suitable for any single-step variation. Highly flexible gait control can be achieved by combining these minimal control units with high-level policy through our extensible control interface. To enhance the trajectory-tracking capability of our controller, we utilize a three-stage training curriculum. After training, the robot can move freely between target footholds at varying distances and heights. The robot can also maintain static balance without repeated stepping to adjust posture. Finally, we evaluate the tracking accuracy of our controller on various bipedal tasks, and the effectiveness of our control framework is verified in the simulation environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google