Deep Reinforcement Multi-agent Learning framework for Information Gathering with Local Gaussian Processes for Water Monitoring

要約

水資源の保全には、その汚染を継続的に監視することが含まれます。
本稿では水質を効率的に監視するために自律型地上車両から構成されるマルチエージェントシステムを提案する。
フリートの安全な制御を実現するには、フリートのポリシーが測定値とフリートの状態に基づいて機能できる必要があります。
ローカル ガウス プロセスと深層強化学習を使用して、効果的な監視ポリシーを共同で取得することが提案されています。
ローカル ガウス プロセスは、古典的なグローバル ガウス プロセスとは異なり、水質情報をより正確に捕捉する異なる空間相関における情報を正確にモデル化できます。
情報獲得報酬による、このモデルの平均と分散の観察に基づく決定を行う、深層畳み込みポリシーが提案されています。
Double Deep Q-Learning アルゴリズムを使用し、コンセンサスベースのヒューリスティックにより、エージェントは安全な方法で推定誤差を最小限に抑えるようにトレーニングされます。
シミュレーション結果は、提案されたモデルによる平均絶対誤差に関して最大​​ 24% の改善を示しています。
また、1 ～ 3 のエージェントを使用したトレーニング結果は、最先端のアプローチと比較して、水質変数の監視と藻類の繁殖の監視で、私たちの提案するアプローチがそれぞれ 20% と 24% 小さい平均推定誤差を返すことを示しています。

要約(オリジナル)

The conservation of hydrological resources involves continuously monitoring their contamination. A multi-agent system composed of autonomous surface vehicles is proposed in this paper to efficiently monitor the water quality. To achieve a safe control of the fleet, the fleet policy should be able to act based on measurements and to the the fleet state. It is proposed to use Local Gaussian Processes and Deep Reinforcement Learning to jointly obtain effective monitoring policies. Local Gaussian processes, unlike classical global Gaussian processes, can accurately model the information in a dissimilar spatial correlation which captures more accurately the water quality information. A Deep convolutional policy is proposed, that bases the decisions on the observation on the mean and variance of this model, by means of an information gain reward. Using a Double Deep Q-Learning algorithm, agents are trained to minimize the estimation error in a safe manner thanks to a Consensus-based heuristic. Simulation results indicate an improvement of up to 24% in terms of the mean absolute error with the proposed models. Also, training results with 1-3 agents indicate that our proposed approach returns 20% and 24% smaller average estimation errors for, respectively, monitoring water quality variables and monitoring algae blooms, as compared to state-of-the-art approaches

arxiv情報

提供元, 利用サービス

arxiv.jp, Google