Optimization of Link Configuration for Satellite Communication Using Reinforcement Learning

要約

衛星通信は、現代のつながった世界における重要なテクノロジーです。
ハードウェアがますます複雑になるにつれ、衛星トランスポンダ上でリンク (接続) を効率的に構成することが課題の 1 つとなります。
最適なリンク構成の計画は非常に複雑で、多くのパラメーターとメトリックに依存します。
トランスポンダーの限られたリソース、帯域幅、電力を最適に使用することが非常に重要です。
このような最適化問題は、シミュレーテッド アニーリングなどのメタヒューリスティック手法を使用して近似できますが、最近の研究結果では、強化学習が最適化手法と同等、またはそれ以上のパフォーマンスを達成できることも示しています。
しかし、衛星トランスポンダのリンク構成に関する研究はまだ行われていません。
この研究ギャップを埋めるために、この研究の一環としてトランスポンダ環境が開発されました。
この環境では、強化学習アルゴリズム PPO のパフォーマンスが 2 つの実験でメタヒューリスティック シミュレーテッド アニーリングと比較されました。
結果は、この静的問題に対しては、シミュレーテッド アニーリングが PPO アルゴリズムよりも優れた結果をもたらすことを示していますが、この研究は、最適化問題に対する強化学習の可能性も強調しています。

要約(オリジナル)

Satellite communication is a key technology in our modern connected world. With increasingly complex hardware, one challenge is to efficiently configure links (connections) on a satellite transponder. Planning an optimal link configuration is extremely complex and depends on many parameters and metrics. The optimal use of the limited resources, bandwidth and power of the transponder is crucial. Such an optimization problem can be approximated using metaheuristic methods such as simulated annealing, but recent research results also show that reinforcement learning can achieve comparable or even better performance in optimization methods. However, there have not yet been any studies on link configuration on satellite transponders. In order to close this research gap, a transponder environment was developed as part of this work. For this environment, the performance of the reinforcement learning algorithm PPO was compared with the metaheuristic simulated annealing in two experiments. The results show that Simulated Annealing delivers better results for this static problem than the PPO algorithm, however, the research in turn also underlines the potential of reinforcement learning for optimization problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google