Q-learning Based System for Path Planning with UAV Swarms in Obstacle Environments

要約

タイトル：障害物環境下のUAVスワームのパスプランニングにおけるQ学習ベースのシステム

要約：
– UAVスワームの自律制御のためのパスプランニング手法が注目されている。
– 複数のUAVを自律的に制御する場合、多くの障害物（電力線や木など）があるシナリオが増えている。
– 全てのUAVが自律的に操作できれば、人員費用を減らすことができる。
– また、フライトパスが最適であれば、エネルギー消費を減らすことができる。
– 本論文では、Q学習を活用した強化学習ベースのシステムを提案している。
– この方法により、人工ニューラルネットワークなどのモデルが自己調整することができ、環境に障害物がある場合でも問題を解決することが可能になる。
– 目標の設定や提供されたマップ以外の事前情報は必要ない。
– 実験では、異なる大きさと障害物を含む5つのマップが使用され、UAVの数も異なるものを使用した。
– 結果の計算には、各実験でUAVが完了するために実行されたアクション数が考慮される。
– 行動数が少ないほど、パスが短く、エネルギー消費量が少ないことを示す。
– 結果は満足で、システムはUAVの数が多い場合ほど、より少ない動きで解決策を得ていることが示された。
– より良い提案を行うために、他の最新の手法との比較も行われた。

要約(オリジナル)

Path Planning methods for autonomous control of Unmanned Aerial Vehicle (UAV) swarms are on the rise because of all the advantages they bring. There are more and more scenarios where autonomous control of multiple UAVs is required. Most of these scenarios present a large number of obstacles, such as power lines or trees. If all UAVs can be operated autonomously, personnel expenses can be decreased. In addition, if their flight paths are optimal, energy consumption is reduced. This ensures that more battery time is left for other operations. In this paper, a Reinforcement Learning based system is proposed for solving this problem in environments with obstacles by making use of Q-Learning. This method allows a model, in this particular case an Artificial Neural Network, to self-adjust by learning from its mistakes and achievements. Regardless of the size of the map or the number of UAVs in the swarm, the goal of these paths is to ensure complete coverage of an area with fixed obstacles for tasks, like field prospecting. Setting goals or having any prior information aside from the provided map is not required. For experimentation, five maps of different sizes with different obstacles were used. The experiments were performed with different number of UAVs. For the calculation of the results, the number of actions taken by all UAVs to complete the task in each experiment is taken into account. The lower the number of actions, the shorter the path and the lower the energy consumption. The results are satisfactory, showing that the system obtains solutions in fewer movements the more UAVs there are. For a better presentation, these results have been compared to another state-of-the-art approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI