Reinforcement Learning for Adaptive Planner Parameter Tuning: A Perspective on Hierarchical Architecture

要約

パイプラインアプローチを学習ベースのテクニックと統合するアルゴリズムを計画するための自動パラメーターチューニング方法は、その安定性と高度に制約された環境を処理する能力により有望であると見なされます。
既存のパラメーターチューニング方法はかなりの成功を示していますが、パフォーマンスの向上により、より構造化されたアプローチが必要です。
この論文では、補強学習ベースのパラメーターチューニングのための階層アーキテクチャを提案します。
このアーキテクチャは、低周波パラメーターチューニング、中周波数計画、および高周波制御を備えた階層構造を導入し、上層パラメーターチューニングと、反復トレーニングを通じて低層制御の両方の同時強化を可能にします。
シミュレートされた環境と現実世界の両方の環境の両方での実験的評価は、我々の方法が既存のパラメーターチューニングアプローチを上回ることを示しています。
さらに、私たちのアプローチは、自律的なロボットナビゲーション（納屋）チャレンジのベンチマークで1位を達成しています。

要約(オリジナル)

Automatic parameter tuning methods for planning algorithms, which integrate pipeline approaches with learning-based techniques, are regarded as promising due to their stability and capability to handle highly constrained environments. While existing parameter tuning methods have demonstrated considerable success, further performance improvements require a more structured approach. In this paper, we propose a hierarchical architecture for reinforcement learning-based parameter tuning. The architecture introduces a hierarchical structure with low-frequency parameter tuning, mid-frequency planning, and high-frequency control, enabling concurrent enhancement of both upper-layer parameter tuning and lower-layer control through iterative training. Experimental evaluations in both simulated and real-world environments show that our method surpasses existing parameter tuning approaches. Furthermore, our approach achieves first place in the Benchmark for Autonomous Robot Navigation (BARN) Challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google