Image-based Regularization for Action Smoothness in Autonomous Miniature Racing Car with Deep Reinforcement Learning

要約

深層強化学習は、低レベルの制御タスクにおいて大きな成果を上げています。
しかし、自動運転やドローン飛行などの一部のアプリケーションでは、エージェントの動作が突然変化する可能性があり、制御システムの効率が低下したり、過度の機械的磨耗を引き起こしたり、車両に制御不能で危険な動作を引き起こしたりする可能性があるため、動作を安定して制御することが困難です。
最近、クアッドローター ドローンなどのアプリケーションの低次元特徴におけるぎくしゃく感の問題を解決するために、アクション ポリシーのスムーズさのための条件付け (CAPS) と呼ばれる方法が提案されました。
高次元の特徴に対処するために、本論文では、自律型ミニチュアカーレースにおけるぎくしゃくした制御を解決するための、アクション滑らかさのための画像ベースの正則化(I-RAS)を提案する。
また、衝撃率に基づく制御、つまり IR 制御と呼ばれる、滑らかさの制約を制御するための適応正則化重みも導入します。
実験では、I-RAS と IR 制御を備えたエージェントにより、成功率が 59% から 95% に大幅に向上しました。
実世界のトラック実験では、エージェントは他の方法よりも優れたパフォーマンスを発揮し、平均フィニッシュ ラップ タイムを短縮し、実世界のトレーニングなしでも完走率を向上させました。
これは、I-RAS が 2022 AWS DeepRacer Final Championship Cup で優勝したことに基づいたエージェントによっても正当化されます。

要約(オリジナル)

Deep reinforcement learning has achieved significant results in low-level controlling tasks. However, for some applications like autonomous driving and drone flying, it is difficult to control behavior stably since the agent may suddenly change its actions which often lowers the controlling system’s efficiency, induces excessive mechanical wear, and causes uncontrollable, dangerous behavior to the vehicle. Recently, a method called conditioning for action policy smoothness (CAPS) was proposed to solve the problem of jerkiness in low-dimensional features for applications such as quadrotor drones. To cope with high-dimensional features, this paper proposes image-based regularization for action smoothness (I-RAS) for solving jerky control in autonomous miniature car racing. We also introduce a control based on impact ratio, an adaptive regularization weight to control the smoothness constraint, called IR control. In the experiment, an agent with I-RAS and IR control significantly improves the success rate from 59% to 95%. In the real-world-track experiment, the agent also outperforms other methods, namely reducing the average finish lap time, while also improving the completion rate even without real world training. This is also justified by an agent based on I-RAS winning the 2022 AWS DeepRacer Final Championship Cup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google