HOPE: A Reinforcement Learning-based Hybrid Policy Path Planner for Diverse Parking Scenarios

要約

自動化された駐車場は、自律運転技術の非常に期待されているアプリケーションとして存在します。
ただし、既存の経路計画方法論は、現実に多様で複雑な駐車場のシナリオを処理することができないため、このニーズに対処することはできません。
非学習方法は信頼できる計画結果を提供しますが、学習ベースの方法は探査が得意であるが、実行可能なソリューションに収束するのに不安定ですが、複雑な機会に対して脆弱です。
両方のアプローチの強みを活用するために、ハイブリッドポリシーパスプランナー（希望）を紹介します。
この新しいソリューションは、強化学習エージェントをReeds-Shepp曲線と統合し、多様なシナリオ全体で効果的な計画を可能にします。
Hopeは、アクションマスクメカニズムを適用することにより、補強学習エージェントの調査を導き、トランスを使用して知覚された環境情報をマスクと統合します。
提案されたプランナーのトレーニングと評価を促進するために、スペースと障害物の分布に基づいて駐車場シナリオの難易度を分類するための基準を提案します。
実験結果は、私たちのアプローチが典型的なルールベースのアルゴリズムと従来の強化学習方法を上回り、さまざまなシナリオで計画の成功率と一般化を示していることを示しています。
また、実世界の実験を実施して、希望の実用性を検証します。
ソリューションのコードは、https：//github.com/jiamiya/hopeで公然と入手できます。

要約(オリジナル)

Automated parking stands as a highly anticipated application of autonomous driving technology. However, existing path planning methodologies fall short of addressing this need due to their incapability to handle the diverse and complex parking scenarios in reality. While non-learning methods provide reliable planning results, they are vulnerable to intricate occasions, whereas learning-based ones are good at exploration but unstable in converging to feasible solutions. To leverage the strengths of both approaches, we introduce Hybrid pOlicy Path plannEr (HOPE). This novel solution integrates a reinforcement learning agent with Reeds-Shepp curves, enabling effective planning across diverse scenarios. HOPE guides the exploration of the reinforcement learning agent by applying an action mask mechanism and employs a transformer to integrate the perceived environmental information with the mask. To facilitate the training and evaluation of the proposed planner, we propose a criterion for categorizing the difficulty level of parking scenarios based on space and obstacle distribution. Experimental results demonstrate that our approach outperforms typical rule-based algorithms and traditional reinforcement learning methods, showing higher planning success rates and generalization across various scenarios. We also conduct real-world experiments to verify the practicability of HOPE. The code for our solution is openly available on https://github.com/jiamiya/HOPE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google