Reinforcement Learning for Blind Stair Climbing with Legged and Wheeled-Legged Robots

要約

近年、脚式および車輪付き脚ロボットは、主に人間のために作られた環境におけるタスクにおいて、さまざまな分野で注目を集めています。
これらのロボットの多くが直面する重大な課題の 1 つは、階段を移動する能力が限られていることです。これにより、多層階環境での機能が妨げられます。
この研究は、この制限に対処することを目的とした方法を提案し、強化学習を利用して、幅広いロボットに適用可能な汎用コントローラを開発します。
従来の速度ベースのコントローラーとは対照的に、私たちのアプローチは RL タスクの位置ベースの定式化に基づいており、これが階段を登るのに不可欠であることが示されています。
さらに、この方法論は非対称のアクターと批評家の構造を活用しており、トレーニング中にシミュレートされた環境からの特権情報を利用できるようにすると同時に、現実世界の展開中に外受容センサーへの依存を排除​​します。
提案されたアプローチのもう 1 つの重要な特徴は、コントローラー内にブール値観測を組み込んで、階段登りモードのアクティブ化または非アクティブ化を可能にすることです。
さまざまな四足歩行ロボットと二足歩行ロボットのシミュレーション結果を提示し、私たちの方法によってバランスロボット Ascento が現実世界で 15 cm の階段を登ることがどのように可能になるかを紹介します。これは、このロボットには以前は不可能であった作業です。

要約(オリジナル)

In recent years, legged and wheeled-legged robots have gained prominence for tasks in environments predominantly created for humans across various domains. One significant challenge faced by many of these robots is their limited capability to navigate stairs, which hampers their functionality in multi-story environments. This study proposes a method aimed at addressing this limitation, employing reinforcement learning to develop a versatile controller applicable to a wide range of robots. In contrast to the conventional velocity-based controllers, our approach builds upon a position-based formulation of the RL task, which we show to be vital for stair climbing. Furthermore, the methodology leverages an asymmetric actor-critic structure, enabling the utilization of privileged information from simulated environments during training while eliminating the reliance on exteroceptive sensors during real-world deployment. Another key feature of the proposed approach is the incorporation of a boolean observation within the controller, enabling the activation or deactivation of a stair-climbing mode. We present our results on different quadrupeds and bipedal robots in simulation and showcase how our method allows the balancing robot Ascento to climb 15cm stairs in the real world, a task that was previously impossible for this robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google