Data-Driven Latent Space Representation for Robust Bipedal Locomotion Learning

要約

この論文では、データ駆動型の状態表現と強化学習 (RL) ベースの移動ポリシーを組み合わせることにより、ロバストな二足歩行を学習するための新しいフレームワークを紹介します。
このフレームワークは、オートエンコーダーを利用して、既存の移動データから二足歩行の複雑なダイナミクスをキャプチャする低次元の潜在空間を学習します。
この縮小された次元の状態表現は、堅牢な RL ベースの歩行ポリシーをトレーニングするための状態として使用され、ヒューリスティックな状態選択や歩行計画のためのテンプレート モデルの使用が不要になります。
この結果は、学習された潜在変数が解きほぐされ、前進、後退、その場での歩行など、さまざまな歩行や速度に直接対応していることを示しています。
従来のテンプレート モデルベースのアプローチと比較して、当社のフレームワークはシミュレーションにおいて優れたパフォーマンスと堅牢性を示します。
訓練されたポリシーは、広範囲の歩行速度を効果的に追跡し、未知のシナリオに対する優れた一般化機能を実証します。

要約(オリジナル)

This paper presents a novel framework for learning robust bipedal walking by combining a data-driven state representation with a Reinforcement Learning (RL) based locomotion policy. The framework utilizes an autoencoder to learn a low-dimensional latent space that captures the complex dynamics of bipedal locomotion from existing locomotion data. This reduced dimensional state representation is then used as states for training a robust RL-based gait policy, eliminating the need for heuristic state selections or the use of template models for gait planning. The results demonstrate that the learned latent variables are disentangled and directly correspond to different gaits or speeds, such as moving forward, backward, or walking in place. Compared to traditional template model-based approaches, our framework exhibits superior performance and robustness in simulation. The trained policy effectively tracks a wide range of walking speeds and demonstrates good generalization capabilities to unseen scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google