Seasonal Station-Keeping of Short Duration High Altitude Balloons using Deep Reinforcement Learning

要約

関心のある地域におけるステーションキーピング短時間の高度の高地風船（HAB）は、部分的に観察可能で複雑な、動的な風が流れるため、挑戦的なパス計画の問題です。
ディープ補強学習は、ステーション維持の問題を解決するための一般的な戦略です。
カスタムシミュレーション環境は、シミュレーション内の短期間のHABエージェントのディープQラーニング（DQN）をトレーニングおよび評価するために開発されました。
エージェントを現実的な風で訓練するために、合成風の予測は、総歴史的ラジオゾンデデータから生成され、水平方向の運動学をシミュレートされた薬剤に適用しました。
合成予測は、ECWMF ERA5再分析予測と密接に相関しており、風力モデル間の現実的なシミュレートされた風場と季節的および高度分散を提供します。
その後、DQN HABのエージェントは、さまざまな季節の月にわたって訓練され、評価されました。
大幅に異なる風のフィールドで数か月の違いと傾向を強調するために、風力の多様性に基づいて予測を独立して分類するために予測スコアアルゴリズムが導入され、ステーション維持の成功と予測スコアの間の傾向がすべてのシーズンで評価されました。

要約(オリジナル)

Station-Keeping short-duration high-altitude balloons (HABs) in a region of interest is a challenging path-planning problem due to partially observable, complex, and dynamic wind flows. Deep reinforcement learning is a popular strategy for solving the station-keeping problem. A custom simulation environment was developed to train and evaluate Deep Q-Learning (DQN) for short-duration HAB agents in the simulation. To train the agents on realistic winds, synthetic wind forecasts were generated from aggregated historical radiosonde data to apply horizontal kinematics to simulated agents. The synthetic forecasts were closely correlated with ECWMF ERA5 Reanalysis forecasts, providing a realistic simulated wind field and seasonal and altitudinal variances between the wind models. DQN HAB agents were then trained and evaluated across different seasonal months. To highlight differences and trends in months with vastly different wind fields, a Forecast Score algorithm was introduced to independently classify forecasts based on wind diversity, and trends between station-keeping success and the Forecast Score were evaluated across all seasons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google