Autonomous Algorithm for Training Autonomous Vehicles with Minimal Human Intervention

要約

最近の強化学習 (RL) アルゴリズムは、模擬運転環境で優れた結果を実証しました。
ただし、シミュレーションで訓練された自動運転車は、シミュレートされた環境と現実世界の環境の間の忠実度のギャップにより、現実世界ではうまく機能しないことがよくあります。
RL アルゴリズムを使用して現実世界の自動運転車を直接トレーニングすることは、忠実度ギャップの問題を回避する有望なアプローチですが、いくつかの課題があります。
重要だが見落とされがちな課題の 1 つは、エピソードごとに運転環境をリセットする必要があることです。
このリセット プロセスには大幅な人間の介入が必要となり、現実世界でのトレーニング効率の低下につながります。
この論文では、人的介入を最小限に抑えながら、既製の RL アルゴリズムで自動運転車を訓練できるようにする新しい自律アルゴリズムを紹介します。
私たちのアルゴリズムは、エピソードを中止して危険な状態を防ぎ、後続のエピソードに有益な初期状態を特定することで、不必要な人間の介入を減らします。
有益な初期状態を特定する背後にある重要な考え方は、まだ探索されていないが到達可能な状態から取得できる予想される情報量を推定することです。
また、私たちのアルゴリズムはルールベースの自動運転アルゴリズムを再検討し、自動運転車を初期状態に安全に戻す際の利点を強調しています。
トレーニング中に人間の介入がどの程度必要かを評価するために、自動運転車が自動的に初期状態にリセットされることを必要とする困難な都市部の運転タスクを実行します。
実験結果は、当社の自律アルゴリズムがタスクに依存せず、ベースラインよりもはるかに少ない人間の介入で競争力のある運転パフォーマンスを達成できることを示しています。

要約(オリジナル)

Recent reinforcement learning (RL) algorithms have demonstrated impressive results in simulated driving environments. However, autonomous vehicles trained in simulation often struggle to work well in the real world due to the fidelity gap between simulated and real-world environments. While directly training real-world autonomous vehicles with RL algorithms is a promising approach to bypass the fidelity gap problem, it presents several challenges. One critical yet often overlooked challenge is the need to reset a driving environment between every episode. This reset process demands significant human intervention, leading to poor training efficiency in the real world. In this paper, we introduce a novel autonomous algorithm that enables off-the-shelf RL algorithms to train autonomous vehicles with minimal human intervention. Our algorithm reduces unnecessary human intervention by aborting episodes to prevent unsafe states and identifying informative initial states for subsequent episodes. The key idea behind identifying informative initial states is to estimate the expected amount of information that can be obtained from under-explored but reachable states. Our algorithm also revisits rule-based autonomous driving algorithms and highlights their benefits in safely returning an autonomous vehicle to initial states. To evaluate how much human intervention is required during training, we implement challenging urban driving tasks that require an autonomous vehicle to reset to initial states on its own. The experimental results show that our autonomous algorithm is task-agnostic and achieves competitive driving performance with much less human intervention than baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google