Learning Vision-Based Bipedal Locomotion for Challenging Terrain

要約

二足歩行の強化学習 (RL) は、最近、固有受容センシングのみを使用して、穏やかな地形上で堅牢な歩行を実証しました。
ただし、このようなブラインド コントローラーは、視覚的な認識が必要な、ロボットが局所的な地形を予測してそれに適応する必要がある環境では機能しません。
この論文では、命令された移動速度と方向を維持しながら、二足歩行ロボットが局所的な地形に反応できるようにする完全学習システムを提案します。
私たちのアプローチでは、まずロボットのローカル フレームで表現された高さマップを使用して、シミュレーションでコントローラーをトレーニングします。
次に、深度画像とロボットの状態の履歴を入力とするハイトマップ予測子をトレーニングするためにシミュレーションでデータが収集されます。
適切なドメインのランダム化を使用すると、このアプローチにより、明示的な姿勢推定や実世界のデータを使用した微調整を行わずに、sim-to-real の転送を成功させることができることを示します。
私たちの知る限り、これは、困難な地形上での視覚ベースの二足歩行のシミュレーションからリアルへの学習の最初の例です。

要約(オリジナル)

Reinforcement learning (RL) for bipedal locomotion has recently demonstrated robust gaits over moderate terrains using only proprioceptive sensing. However, such blind controllers will fail in environments where robots must anticipate and adapt to local terrain, which requires visual perception. In this paper, we propose a fully-learned system that allows bipedal robots to react to local terrain while maintaining commanded travel speed and direction. Our approach first trains a controller in simulation using a heightmap expressed in the robot’s local frame. Next, data is collected in simulation to train a heightmap predictor, whose input is the history of depth images and robot states. We demonstrate that with appropriate domain randomization, this approach allows for successful sim-to-real transfer with no explicit pose estimation and no fine-tuning using real-world data. To the best of our knowledge, this is the first example of sim-to-real learning for vision-based bipedal locomotion over challenging terrains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google