Q-Learning based system for path planning with unmanned aerial vehicles swarms in obstacle environments

要約

無人航空機 (UAV) の群れを自律制御するための経路計画方法は、それがもたらすあらゆる利点により増加しています。
複数の UAV の自律制御が必要なシナリオがますます増えています。
これらのシナリオのほとんどには、送電線や樹木などの多数の障害物が存在します。
すべてのUAVが自律運用できれば人件費も削減できる。
さらに、飛行経路が最適であれば、エネルギー消費も削減されます。
これにより、他の操作に使用できるバッテリー時間が確保されます。
この論文では、Q ラーニングを利用して、障害物のある環境でこの問題を解決するための強化学習ベースのシステムを提案します。
この方法により、モデル (この特定のケースでは人工ニューラル ネットワーク) が、その間違いや成果から学習して自己調整することが可能になります。
マップのサイズや群れ内の UAV の数に関係なく、これらのパスの目標は、フィールド探査などのタスクのために固定障害物があるエリアを確実に完全にカバーすることです。
目標設定や提供された地図以外の事前情報は必要ありません。
実験では、障害物が異なる、サイズの異なる 5 つのマップを使用しました。
実験はさまざまな数の UAV で実行されました。
結果の計算では、各実験のタスクを完了するためにすべての UAV が実行したアクションの数が考慮されます。
アクションの数が少ないほど、経路が短くなり、エネルギー消費が少なくなります。
結果は満足のいくもので、UAV の数が増えるほど、システムはより少ない移動で解を取得できることがわかりました。
より良いプレゼンテーションを行うために、これらの結果は別の最先端のアプローチと比較されています。

要約(オリジナル)

Path Planning methods for autonomous control of Unmanned Aerial Vehicle (UAV) swarms are on the rise because of all the advantages they bring. There are more and more scenarios where autonomous control of multiple UAVs is required. Most of these scenarios present a large number of obstacles, such as power lines or trees. If all UAVs can be operated autonomously, personnel expenses can be decreased. In addition, if their flight paths are optimal, energy consumption is reduced. This ensures that more battery time is left for other operations. In this paper, a Reinforcement Learning based system is proposed for solving this problem in environments with obstacles by making use of Q-Learning. This method allows a model, in this particular case an Artificial Neural Network, to self-adjust by learning from its mistakes and achievements. Regardless of the size of the map or the number of UAVs in the swarm, the goal of these paths is to ensure complete coverage of an area with fixed obstacles for tasks, like field prospecting. Setting goals or having any prior information aside from the provided map is not required. For experimentation, five maps of different sizes with different obstacles were used. The experiments were performed with different number of UAVs. For the calculation of the results, the number of actions taken by all UAVs to complete the task in each experiment is taken into account. The lower the number of actions, the shorter the path and the lower the energy consumption. The results are satisfactory, showing that the system obtains solutions in fewer movements the more UAVs there are. For a better presentation, these results have been compared to another state-of-the-art approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google