OptiRoute: A Heuristic-assisted Deep Reinforcement Learning Framework for UAV-UGV Collaborative Route Planning

要約

無人航空機 (UAV) は広大なエリアを測量できますが、その運用範囲は限られたバッテリー容量によって制限されます。
無人地上車両 (UGV) を使用した移動式充電ステーションの配備により、UAV の耐久性と有効性が大幅に延長されます。
しかし、UAV と UGV の両方のルートを最適化することは、UAV-UGV 協調ルーティング問題として知られており、特に充電場所の選択に関して大きな課題を引き起こします。
この論文では、制約プログラミングを使用して UAV と UGV の協調ルートを決定しながら、最適な充電場所を特定する目的で強化学習 (RL) を活用します。
次に、私たちが提案したフレームワークは、遺伝的アルゴリズム (GA) を使用してランデブー ポイントを選択するベースライン ソリューションに対してベンチマークされます。
私たちの調査結果では、全体的なミッション時間の短縮、UAV-UGV のアイドル時間の最小化、UAV と UGV の両方のエネルギー消費の軽減という点で、RL が GA を上回っていることが明らかになりました。
これらの結果は、複雑な配線問題に対する高品質のソリューションを生成する際に、RL を支援するヒューリスティックを組み込むこと (ヒューリスティック支援 RL と呼ばれる方法) の有効性を強調しています。

要約(オリジナル)

Unmanned aerial vehicles (UAVs) are capable of surveying expansive areas, but their operational range is constrained by limited battery capacity. The deployment of mobile recharging stations using unmanned ground vehicles (UGVs) significantly extends the endurance and effectiveness of UAVs. However, optimizing the routes of both UAVs and UGVs, known as the UAV-UGV cooperative routing problem, poses substantial challenges, particularly with respect to the selection of recharging locations. Here in this paper, we leverage reinforcement learning (RL) for the purpose of identifying optimal recharging locations while employing constraint programming to determine cooperative routes for the UAV and UGV. Our proposed framework is then benchmarked against a baseline solution that employs Genetic Algorithms (GA) to select rendezvous points. Our findings reveal that RL surpasses GA in terms of reducing overall mission time, minimizing UAV-UGV idle time, and mitigating energy consumption for both the UAV and UGV. These results underscore the efficacy of incorporating heuristics to assist RL, a method we refer to as heuristics-assisted RL, in generating high-quality solutions for intricate routing problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google