Multi-AGV Path Planning Method via Reinforcement Learning and Particle Filters

要約

強化学習 (RL) アルゴリズムは、その堅牢な学習と検索の安定性により、ますます大きな注目を集めており、無人搬送車 (AGV) の経路計画に広く適用されています。
しかし、RL ベースの計画アルゴリズムは、環境の不安定性やシステム構造の大幅な変動によって引き起こされるニューラル ネットワークの大幅な変動の影響を受けることが判明しました。
これらの課題は、収束速度の遅さと学習効率の低さとして現れます。
この問題に取り組むために、この論文では、パーティクル フィルター (PF) と RL アルゴリズムを活用した、パーティクル フィルター – ダブル ディープ Q ネットワーク (PF-DDQN) という名前の新しいマルチ AGV 経路計画方法を紹介します。
まず、提案された方法は、ネットワークの不正確な重み値を状態値として利用して、状態空間方程式を定式化します。その後、DDQN モデルが最適化され、ニューラル ネットワークと PF の反復融合プロセスを通じて最適な真の重み値を取得し、
提案手法の効率の最適化。
最後に、提案された方法の性能がさまざまな数値シミュレーションによって検証されます。
シミュレーション結果は、提案された方法が、経路計画の優位性とトレーニング時間指標の点で、それぞれ92.62%と76.88%従来のDDQNアルゴリズムよりも優れていることを示しています。
したがって、提案された方法は、マルチ AGV 経路計画の分野における重要な代替手段と考えることができます。

要約(オリジナル)

Thanks to its robust learning and search stabilities,the reinforcement learning (RL) algorithm has garnered increasingly significant attention and been exten-sively applied in Automated Guided Vehicle (AGV) path planning. However, RL-based planning algorithms have been discovered to suffer from the substantial variance of neural networks caused by environmental instability and significant fluctua-tions in system structure. These challenges manifest in slow convergence speed and low learning efficiency. To tackle this issue, this paper presents a novel multi-AGV path planning method named Particle Filters – Double Deep Q-Network (PF-DDQN)via leveraging Particle Filters (PF) and RL algorithm. Firstly, the proposed method leverages the imprecise weight values of the network as state values to formulate thestate space equation.Subsequently, the DDQN model is optimized to acquire the optimal true weight values through the iterative fusion process of neural networksand PF in order to enhance the optimization efficiency of the proposedmethod. Lastly, the performance of the proposed method is validated by different numerical simulations. The simulation results demonstrate that the proposed methoddominates the traditional DDQN algorithm in terms of path planning superiority andtraining time indicator by 92.62% and 76.88%, respectively. Therefore, the proposedmethod could be considered as a vital alternative in the field of multi-AGV path planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google