HOPE: A Reinforcement Learning-based Hybrid Policy Path Planner for Diverse Parking Scenarios

要約

自動駐車は、自律走行技術の応用として大いに期待されている。しかし、既存の経路計画手法は、現実の多様で複雑な駐車シナリオを扱うことができないため、このニーズに応えるには不十分である。非学習的手法は信頼性の高い計画結果を提供する反面、複雑な場面に弱く、学習ベースの手法は探索は得意だが実現可能な解への収束が不安定である。両者の長所を活用するために、我々はHOPE（Hybrid pOlicy Path plannEr）を導入する。この新しいソリューションは、強化学習エージェントとReeds-Shepp曲線を統合し、多様なシナリオにおいて効果的なプランニングを可能にする。HOPEは、行動マスク機構を適用することによって強化学習エージェントの探索をガイドし、知覚された環境情報をマスクと統合するために変換器を用いる。提案するプランナの訓練と評価を容易にするために、空間と障害物の分布に基づいて駐車シナリオの難易度を分類する基準を提案する。実験結果は、我々のアプローチが典型的なルールベースのアルゴリズムや伝統的な強化学習手法を凌駕し、より高い計画成功率と様々なシナリオにわたる汎化を示すことを示す。また、HOPEの実用性を検証するために実世界での実験も行う。私たちのソリューションのコードは、˶{GitHub}{https://github.com/jiamiya/HOPE}で公開される予定です。

要約(オリジナル)

Automated parking stands as a highly anticipated application of autonomous driving technology. However, existing path planning methodologies fall short of addressing this need due to their incapability to handle the diverse and complex parking scenarios in reality. While non-learning methods provide reliable planning results, they are vulnerable to intricate occasions, whereas learning-based ones are good at exploration but unstable in converging to feasible solutions. To leverage the strengths of both approaches, we introduce Hybrid pOlicy Path plannEr (HOPE). This novel solution integrates a reinforcement learning agent with Reeds-Shepp curves, enabling effective planning across diverse scenarios. HOPE guides the exploration of the reinforcement learning agent by applying an action mask mechanism and employs a transformer to integrate the perceived environmental information with the mask. To facilitate the training and evaluation of the proposed planner, we propose a criterion for categorizing the difficulty level of parking scenarios based on space and obstacle distribution. Experimental results demonstrate that our approach outperforms typical rule-based algorithms and traditional reinforcement learning methods, showing higher planning success rates and generalization across various scenarios. We also conduct real-world experiments to verify the practicability of HOPE. The code for our solution will be openly available on \href{GitHub}{https://github.com/jiamiya/HOPE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL