Dynamic Obstacle Avoidance with Bounded Rationality Adversarial Reinforcement Learning

要約

Renforce Learning（RL）は、脚のロボットの安定した移動歩行を取得するのに大部分が効果的であることが証明されています。
ただし、障害のある目に見えない環境を堅牢にナビゲートできる制御アルゴリズムの設計は、四足運動内で進行中の問題のままです。
これに取り組むために、低レベルの移動ポリシーと高レベルのナビゲーションポリシーを備えた階層的アプローチを使用して、ナビゲーションタスクを解決するのが便利です。
重要なことに、高レベルのポリシーは、エージェントの経路に沿った動的障害に対して堅牢である必要があります。
この作業では、敵対的なRLパラダイムに従って、障害物を敵対的なエージェントとしてモデル化するトレーニングプロセスによって堅牢性を備えたナビゲーションポリシーを堅牢に及ぼす新しい方法を提案します。
重要なことに、トレーニングプロセスの信頼性を向上させるために、量子応答均衡に頼る敵対者の合理性を拘束し、その合理性にカリキュラムを置きます。
この方法は、量子応答敵対的補強学習（Hi-QARL）を介して階層ポリシーを呼び出しました。
私たちは、複数の障害を持つ目に見えないランダム化された迷路でそれをベンチマークすることにより、私たちの方法の堅牢性を示します。
実際のシナリオでの適用性を証明するために、私たちの方法は、シミュレーションのUnitreeGO1ロボットに適用されます。

要約(オリジナル)

Reinforcement Learning (RL) has proven largely effective in obtaining stable locomotion gaits for legged robots. However, designing control algorithms which can robustly navigate unseen environments with obstacles remains an ongoing problem within quadruped locomotion. To tackle this, it is convenient to solve navigation tasks by means of a hierarchical approach with a low-level locomotion policy and a high-level navigation policy. Crucially, the high-level policy needs to be robust to dynamic obstacles along the path of the agent. In this work, we propose a novel way to endow navigation policies with robustness by a training process that models obstacles as adversarial agents, following the adversarial RL paradigm. Importantly, to improve the reliability of the training process, we bound the rationality of the adversarial agent resorting to quantal response equilibria, and place a curriculum over its rationality. We called this method Hierarchical policies via Quantal response Adversarial Reinforcement Learning (Hi-QARL). We demonstrate the robustness of our method by benchmarking it in unseen randomized mazes with multiple obstacles. To prove its applicability in real scenarios, our method is applied on a Unitree GO1 robot in simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google