Privileged to Predicted: Towards Sensorimotor Reinforcement Learning for Urban Driving

要約

強化学習（RL）は、専門家の監督を必要とせずに、人間の運転パフォーマンスを超える可能性を秘めています。
その期待にもかかわらず、感覚運動自動運転における最先端技術は、RL アルゴリズムに固有の欠点があるため、模倣学習手法によって支配されています。
それにもかかわらず、RL エージェントは、環境の特権的なグラウンド トゥルース表現が提供されると、非常に成功したポリシーを発見できます。
この研究では、両者の間のギャップを埋めるために、都市部の運転において特権的な RL エージェントと感覚運動エージェントを区別するものを調査します。
センサーデータから特権表現を近似するビジョンベースの深層学習モデルを提案します。
特に、望ましいルートの生成や停止ゾーンの予測など、RL エージェントの成功にとって重要な状態表現の側面を特定し、権限の少ない RL エージェントを段階的に開発するためのソリューションを提案します。
また、オフライン データセットでトレーニングされた鳥瞰図モデルは、分布の不一致によりオンライン RL トレーニングに一般化されないことも観察されています。
CARLA シミュレーション環境の厳密な評価を通じて、自動運転における RL の状態表現の重要性を明らかにし、将来の研究に向けた未解決の課題を指摘します。

要約(オリジナル)

Reinforcement Learning (RL) has the potential to surpass human performance in driving without needing any expert supervision. Despite its promise, the state-of-the-art in sensorimotor self-driving is dominated by imitation learning methods due to the inherent shortcomings of RL algorithms. Nonetheless, RL agents are able to discover highly successful policies when provided with privileged ground truth representations of the environment. In this work, we investigate what separates privileged RL agents from sensorimotor agents for urban driving in order to bridge the gap between the two. We propose vision-based deep learning models to approximate the privileged representations from sensor data. In particular, we identify aspects of state representation that are crucial for the success of the RL agent such as desired route generation and stop zone prediction, and propose solutions to gradually develop less privileged RL agents. We also observe that bird’s-eye-view models trained on offline datasets do not generalize to online RL training due to distribution mismatch. Through rigorous evaluation on the CARLA simulation environment, we shed light on the significance of the state representations in RL for autonomous driving and point to unresolved challenges for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google