Hyperparameter Optimization for Driving Strategies Based on Reinforcement Learning

要約

この論文は、強化学習に基づく自動運転戦略のためのハイパーパラメータの最適化に焦点を当てています。
シミュレーション環境での RL エージェントのトレーニングについて詳しく説明します。
その後、RL でのハイパーパラメーターの最適化にガウス過程フィッティングを使用する効率的なグローバル最適化アルゴリズムを採用します。
この最適化フェーズの前に、ガウス プロセス補間がサロゲート モデルに適合するために適用されます。このモデルに対して、ラテン ハイパーキューブ サンプリングを使用してハイパーパラメータ セットが生成されます。
評価を高速化するために、並列化技術が採用されています。
ハイパーパラメータの最適化手順に従って、一連のハイパーパラメータが特定され、その結果、全体的な運転パフォーマンスが顕著に向上します。
手動で調整された既存のパラメーターと、ラテン ハイパーキューブ サンプリングを使用した初期化プロセス中に検出されたハイパーパラメーターと比較すると、4\% の大幅な増加があります。
最適化後、得られた結果を徹底的に分析し、学習された自動運転戦略のロバスト性と一般化能力を評価するための感度分析を実施します。
この研究の結果は、RL における自動運転のハイパーパラメータを最適化するためのガウス プロセス ベースのベイジアン最適化の進歩に貢献し、効率的で信頼性の高い自動運転システムの開発に貴重な洞察を提供します。

要約(オリジナル)

This paper focuses on hyperparameter optimization for autonomous driving strategies based on Reinforcement Learning. We provide a detailed description of training the RL agent in a simulation environment. Subsequently, we employ Efficient Global Optimization algorithm that uses Gaussian Process fitting for hyperparameter optimization in RL. Before this optimization phase, Gaussian process interpolation is applied to fit the surrogate model, for which the hyperparameter set is generated using Latin hypercube sampling. To accelerate the evaluation, parallelization techniques are employed. Following the hyperparameter optimization procedure, a set of hyperparameters is identified, resulting in a noteworthy enhancement in overall driving performance. There is a substantial increase of 4\% when compared to existing manually tuned parameters and the hyperparameters discovered during the initialization process using Latin hypercube sampling. After the optimization, we analyze the obtained results thoroughly and conduct a sensitivity analysis to assess the robustness and generalization capabilities of the learned autonomous driving strategies. The findings from this study contribute to the advancement of Gaussian process based Bayesian optimization to optimize the hyperparameters for autonomous driving in RL, providing valuable insights for the development of efficient and reliable autonomous driving systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google