Hierarchical Generative Adversarial Imitation Learning with Mid-level Input Generation for Autonomous Driving on Urban Environments

要約

現実的な都市ナビゲーション シナリオ向けの堅牢な制御ポリシーを導き出すことは、簡単な作業ではありません。
エンドツーエンドのアプローチでは、これらのポリシーは、車両のカメラからの高次元画像をステアリングやスロットルなどの低レベルのアクションにマッピングする必要があります。
純粋な強化学習 (RL) アプローチは報酬のみに基づいていますが、敵対的模倣学習 (GAIL) エージェントは環境と対話しながら専門家のデモンストレーションから学習するため、報酬シグナルを導き出すのが難しいタスクでは GAIL が有利になります。
この研究では、エンドツーエンドのアプローチで車両の自律ナビゲーションを解決する hGAIL アーキテクチャが提案され、感覚認識を低レベルのアクションに直接マッピングしながら、同時にエージェントの環境の中レベルの入力表現を学習しました。
提案された hGAIL は、主に車両の 3 台の前面カメラの画像から鳥瞰図 (BEV) 表現を生成する GAN (Generative Adversarial Nets) と、GAIL の 2 つの主要モジュールで構成される階層型敵対模倣学習アーキテクチャで構成されています。
これは、主に入力として GAN からの BEV 予測に基づいて車両の制御を学習します。私たちの実験では、(BEV なしで) カメラのみからの GAIL はタスクの学習さえ失敗することが示されましたが、hGAIL はトレーニング後に自律的に正常にナビゲートできました。
街のあらゆる交差点で。

要約(オリジナル)

Deriving robust control policies for realistic urban navigation scenarios is not a trivial task. In an end-to-end approach, these policies must map high-dimensional images from the vehicle’s cameras to low-level actions such as steering and throttle. While pure Reinforcement Learning (RL) approaches are based exclusively on rewards,Generative Adversarial Imitation Learning (GAIL) agents learn from expert demonstrations while interacting with the environment, which favors GAIL on tasks for which a reward signal is difficult to derive. In this work, the hGAIL architecture was proposed to solve the autonomous navigation of a vehicle in an end-to-end approach, mapping sensory perceptions directly to low-level actions, while simultaneously learning mid-level input representations of the agent’s environment. The proposed hGAIL consists of an hierarchical Adversarial Imitation Learning architecture composed of two main modules: the GAN (Generative Adversarial Nets) which generates the Bird’s-Eye View (BEV) representation mainly from the images of three frontal cameras of the vehicle, and the GAIL which learns to control the vehicle based mainly on the BEV predictions from the GAN as input.Our experiments have shown that GAIL exclusively from cameras (without BEV) fails to even learn the task, while hGAIL, after training, was able to autonomously navigate successfully in all intersections of the city.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google