Extensive Exploration in Complex Traffic Scenarios using Hierarchical Reinforcement Learning

要約

複雑な交通環境をナビゲートできる自動運転システムを開発することは、恐ろしい課題のままです。
ルールベースの学習ベースの方法とは異なり、Deep Rehnection Learning（DRL）ベースのコントローラーは、ドメイン固有の知識とデータセットの必要性を排除し、さまざまなシナリオに適応性を提供します。
それにもかかわらず、DRLベースのコントローラーに関する既存の研究の一般的な制限は、単純なトラフィックパターンを備えた運転シナリオに焦点を当てていることです。これは、遅れた長期的な報酬で複雑な運転環境を効果的に処理する能力を妨げ、結果の一般化性を損なうことです。
これらの制限に対応して、私たちの研究では、複雑な意思決定の問題を管理可能で解釈可能なサブタスクに効率的に分解する先駆的な階層的枠組みを紹介します。
高レベルのコントローラーと低レベルのコントローラーを個別にトレーニングする2段階のトレーニングプロセスを採用しています。
高レベルのコントローラーは、長期にわたる報酬が遅れているため、探索の可能性を高めることができ、低レベルのコントローラーは、短期の瞬間的な報酬を使用して縦方向および横方向のコントロール能力を提供します。
シミュレーション実験を通じて、複雑な高速道路の運転状況を管理する際の階層コントローラーの優位性を実証します。

要約(オリジナル)

Developing an automated driving system capable of navigating complex traffic environments remains a formidable challenge. Unlike rule-based or supervised learning-based methods, Deep Reinforcement Learning (DRL) based controllers eliminate the need for domain-specific knowledge and datasets, thus providing adaptability to various scenarios. Nonetheless, a common limitation of existing studies on DRL-based controllers is their focus on driving scenarios with simple traffic patterns, which hinders their capability to effectively handle complex driving environments with delayed, long-term rewards, thus compromising the generalizability of their findings. In response to these limitations, our research introduces a pioneering hierarchical framework that efficiently decomposes intricate decision-making problems into manageable and interpretable subtasks. We adopt a two step training process that trains the high-level controller and low-level controller separately. The high-level controller exhibits an enhanced exploration potential with long-term delayed rewards, and the low-level controller provides longitudinal and lateral control ability using short-term instantaneous rewards. Through simulation experiments, we demonstrate the superiority of our hierarchical controller in managing complex highway driving situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google