Not Only Rewards But Also Constraints: Applications on Legged Robot Locomotion

要約

複雑なロボットシステムにおいて、ニューラルネットワークを用いてコントローラを設計し、モデルフリーの強化学習を用いて学習させることで、優れた制御性能を示す先行研究がいくつかある。しかし、これらの自然な運動スタイルと高いタスク性能を持つ優れたコントローラは、多数の報酬項の設計と適切な報酬係数の決定という非常に手間と時間のかかるプロセスである大規模な報酬工学によって開発されている。本研究では、報酬と制約の両方から構成される複雑なロボットシステムのためのニューラルネットワークコントローラを学習するための新しい強化学習の枠組みを提案する。技術者の意図を適切に制約に反映させ、最小限の計算オーバーヘッドで制約を扱うために、2種類の制約と効率的なポリシー最適化アルゴリズムを提案する。この学習フレームワークを応用して、形態や物理的属性の異なる複数の脚式ロボットのロコモーションコントローラを訓練し、困難な地形を踏破する。広範なシミュレーションと実環境での実験により、1つの報酬係数のみを調整することで、より少ない報酬工学で高性能なコントローラを学習できることが実証された。さらに、制約の解釈可能性と一般化可能性のおかげで、より分かりやすく直感的なエンジニアリングプロセスを利用することができる。要約ビデオはhttps://youtu.be/KAlm3yskhvM。

要約(オリジナル)

Several earlier studies have shown impressive control performance in complex robotic systems by designing the controller using a neural network and training it with model-free reinforcement learning. However, these outstanding controllers with natural motion style and high task performance are developed through extensive reward engineering, which is a highly laborious and time-consuming process of designing numerous reward terms and determining suitable reward coefficients. In this work, we propose a novel reinforcement learning framework for training neural network controllers for complex robotic systems consisting of both rewards and constraints. To let the engineers appropriately reflect their intent to constraints and handle them with minimal computation overhead, two constraint types and an efficient policy optimization algorithm are suggested. The learning framework is applied to train locomotion controllers for several legged robots with different morphology and physical attributes to traverse challenging terrains. Extensive simulation and real-world experiments demonstrate that performant controllers can be trained with significantly less reward engineering, by tuning only a single reward coefficient. Furthermore, a more straightforward and intuitive engineering process can be utilized, thanks to the interpretability and generalizability of constraints. The summary video is available at https://youtu.be/KAlm3yskhvM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL