Not Only Rewards But Also Constraints: Applications on Legged Robot Locomotion

要約

これまでのいくつかの研究では、ニューラル ネットワークを使用してコントローラーを設計し、モデルフリーの強化学習でトレーニングすることにより、複雑なロボット システムにおける優れた制御パフォーマンスが示されています。
しかし、自然な動作スタイルと高いタスクパフォ​​ーマンスを備えたこれらの優れたコントローラーは、広範な報酬エンジニアリングを通じて開発されています。これは、多数の報酬条件を設計し、適切な報酬係数を決定するという非常に手間と時間のかかるプロセスです。
この研究では、報酬と制約の両方から構成される複雑なロボット システムのニューラル ネットワーク コントローラーをトレーニングするための新しい強化学習フレームワークを提案します。
エンジニアが制約に意図を適切に反映し、最小限の計算オーバーヘッドで制約を処理できるように、2 つの制約タイプと効率的なポリシー最適化アルゴリズムが提案されています。
この学習フレームワークは、困難な地形を横断するために、異なる形態と物理的属性を持つ複数の脚式ロボットの移動コントローラーをトレーニングするために適用されます。
広範なシミュレーションと現実世界の実験により、単一の報酬係数のみを調整することで、大幅に少ない報酬エンジニアリングでパフォーマンスの高いコントローラーをトレーニングできることが実証されました。
さらに、制約の解釈可能性と一般化可能性のおかげで、より単純で直観的なエンジニアリング プロセスを利用できます。
概要ビデオは https://youtu.be/KAlm3yskhvM でご覧いただけます。

要約(オリジナル)

Several earlier studies have shown impressive control performance in complex robotic systems by designing the controller using a neural network and training it with model-free reinforcement learning. However, these outstanding controllers with natural motion style and high task performance are developed through extensive reward engineering, which is a highly laborious and time-consuming process of designing numerous reward terms and determining suitable reward coefficients. In this work, we propose a novel reinforcement learning framework for training neural network controllers for complex robotic systems consisting of both rewards and constraints. To let the engineers appropriately reflect their intent to constraints and handle them with minimal computation overhead, two constraint types and an efficient policy optimization algorithm are suggested. The learning framework is applied to train locomotion controllers for several legged robots with different morphology and physical attributes to traverse challenging terrains. Extensive simulation and real-world experiments demonstrate that performant controllers can be trained with significantly less reward engineering, by tuning only a single reward coefficient. Furthermore, a more straightforward and intuitive engineering process can be utilized, thanks to the interpretability and generalizability of constraints. The summary video is available at https://youtu.be/KAlm3yskhvM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google