Deep Reinforcement Learning for Artificial Upwelling Energy Management

要約

栄養豊富な底水を地表に引き上げ、海藻の成長を刺激し、その結果として海洋炭素の隔離を強化する手段としての人工湧昇（AU）の可能性が、近年ますます注目を集めています。
これは、中国初の太陽光発電による空輸式AUシステム（AUS）の開発につながりました。
しかし、複雑な海洋環境における空気注入システムの効率的なスケジュール設定は、エネルギー効率を大幅に向上させる可能性を秘めているため、AUS を運用する上で依然として重要な課題です。
この課題に取り組むために、深層強化学習 (DRL) アルゴリズムを利用して AUS を運用するための効率的な戦略を開発する、新しいエネルギー管理アプローチを提案します。
具体的には、AUSのエネルギー効率を最大化する問題をマルコフ決定プロセスとして定式化し、分布強化学習(QR-DQN)におけるクォンタイルネットワークとディープデュエルネットワークを統合して解決します。
広範なシミュレーションを通じてアルゴリズムのパフォーマンスを評価し、AUS の安定的かつ効率的な動作を確保しながらエネルギーの無駄を削減するという点で、従来のルールベースのアプローチや他の DRL アルゴリズムよりも優れた有効性を実証しました。
私たちの調査結果は、DRL ベースのアプローチが、AUS のエネルギー効率を改善し、海藻養殖と海洋の炭素隔離の持続可能性を高める有望な方法を提供することを示唆しています。

要約(オリジナル)

The potential of artificial upwelling (AU) as a means of lifting nutrient-rich bottom water to the surface, stimulating seaweed growth, and consequently enhancing ocean carbon sequestration, has been gaining increasing attention in recent years. This has led to the development of the first solar-powered and air-lifted AU system (AUS) in China. However, efficient scheduling of air injection systems in complex marine environments remains a crucial challenge in operating AUS, as it holds the potential to significantly improve energy efficiency. To tackle this challenge, we propose a novel energy management approach that utilizes deep reinforcement learning (DRL) algorithm to develop efficient strategies for operating AUS. Specifically, we formulate the problem of maximizing the energy efficiency of AUS as a Markov decision process and integrate the quantile network in distributional reinforcement learning (QR-DQN) with the deep dueling network to solve it. Through extensive simulations, we evaluate the performance of our algorithm and demonstrate its superior effectiveness over traditional rule-based approaches and other DRL algorithms in reducing energy wastage while ensuring the stable and efficient operation of AUS. Our findings suggest that a DRL-based approach offers a promising way to improve the energy efficiency of AUS and enhance the sustainability of seaweed cultivation and carbon sequestration in the ocean.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google