Hierarchical Generative Adversarial Imitation Learning with Mid-level Input Generation for Autonomous Driving on Urban Environments

要約

現実的な都市ナビゲーション シナリオ向けの堅牢な制御ポリシーを導き出すことは、簡単な作業ではありません。
エンドツーエンドのアプローチでは、これらのポリシーは、車両のカメラからの高次元画像をステアリングやスロットルなどの低レベルのアクションにマッピングする必要があります。
純粋な強化学習 (RL) アプローチは操作された報酬のみに基づいていますが、敵対的生成模倣学習 (GAIL) エージェントは環境と対話しながら専門家のデモンストレーションから学習します。これにより、報酬シグナルを導き出すのが難しいタスクでは GAIL が有利になります。
自動運転。
ただし、RL タスクで生の画像からディープ ネットワークを直接トレーニングすることは、不安定で面倒であることが知られています。
これに対処するために、この研究では、車両の自律ナビゲーションを解決するために、表現学習を運転タスクから切り離す、階層型 GAIL ベースのアーキテクチャ (hGAIL) を提案しています。
提案されたアーキテクチャは 2 つのモジュールで構成されます。1 つは抽象的な中間レベルの入力表現を生成する GAN (Generative Adversarial Net)、つまり車両の周囲からの鳥瞰図 (BEV) です。
GAIL は、入力として GAN からの BEV 予測に基づいて車両の制御を学習します。
hGAIL は、エージェントが環境と対話するときに、ポリシーと中間レベルの表現の両方を同時に学習できます。
CARLA シミュレーション環境で行った実験では、BEV を使用せずにカメラのみからの GAIL はタスクを学習することすらできないことが示されました。一方、hGAIL は、1 つの都市のみでトレーニングした後、新しい都市の交差点の 98% で自律走行に成功しました。
訓練段階では都市は使用されません。

要約(オリジナル)

Deriving robust control policies for realistic urban navigation scenarios is not a trivial task. In an end-to-end approach, these policies must map high-dimensional images from the vehicle’s cameras to low-level actions such as steering and throttle. While pure Reinforcement Learning (RL) approaches are based exclusively on engineered rewards, Generative Adversarial Imitation Learning (GAIL) agents learn from expert demonstrations while interacting with the environment, which favors GAIL on tasks for which a reward signal is difficult to derive, such as autonomous driving. However, training deep networks directly from raw images on RL tasks is known to be unstable and troublesome. To deal with that, this work proposes a hierarchical GAIL-based architecture (hGAIL) which decouples representation learning from the driving task to solve the autonomous navigation of a vehicle. The proposed architecture consists of two modules: a GAN (Generative Adversarial Net) which generates an abstract mid-level input representation, which is the Bird’s-Eye View (BEV) from the surroundings of the vehicle; and the GAIL which learns to control the vehicle based on the BEV predictions from the GAN as input. hGAIL is able to learn both the policy and the mid-level representation simultaneously as the agent interacts with the environment. Our experiments made in the CARLA simulation environment have shown that GAIL exclusively from cameras without BEV) fails to even learn the task, while hGAIL, after training exclusively on one city, was able to autonomously navigate successfully in 98% of the intersections of a new city not used in training phase.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google