Adaptive Path-Planning for Autonomous Robots: A UCH-Enhanced Q-Learning Approach

要約

Q 学習手法はロボットの経路計画に広く使用されていますが、非効率な検索と遅い収束という課題に直面することがよくあります。
私たちは、標準的な Q ラーニングを 2 つの重要な方法で強化する改良型 Q ラーニング (IQL) フレームワークを提案します。
まず、Q テーブルの初期化を最適化する Path Adaptive Collaborative Optimization (PACO) アルゴリズムを導入し、より良い初期推定値を提供し、学習を加速します。
次に、動的に調整されたパラメータを備えたユーティリティ制御ヒューリスティック (UCH) メカニズムを組み込んで報酬関数を最適化し、パス計画タスクにおけるアルゴリズムの精度と有効性を高めます。
3 つの異なるラスター グリッド環境での広範な実験により、IQL フレームワークの優れたパフォーマンスが検証されました。
この結果は、パス計画機能の点で、当社の IQL アルゴリズムが FIQL、PP-QL ベースの CPP、DFQL、QMABC アルゴリズムなどの既存の手法よりも優れていることを示しています。

要約(オリジナル)

Q-learning methods are widely used in robot path planning but often face challenges of inefficient search and slow convergence. We propose an Improved Q-learning (IQL) framework that enhances standard Q-learning in two significant ways. First, we introduce the Path Adaptive Collaborative Optimization (PACO) algorithm to optimize Q-table initialization, providing better initial estimates and accelerating learning. Second, we incorporate a Utility-Controlled Heuristic (UCH) mechanism with dynamically tuned parameters to optimize the reward function, enhancing the algorithm’s accuracy and effectiveness in path-planning tasks. Extensive experiments in three different raster grid environments validate the superior performance of our IQL framework. The results demonstrate that our IQL algorithm outperforms existing methods, including FIQL, PP-QL-based CPP, DFQL, and QMABC algorithms, in terms of path-planning capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google