Multi-Agent Deep Reinforcement Learning for Distributed Satellite Routing

要約

この論文では、低地球軌道衛星群 (LSatC) でのルーティングのためのマルチエージェント深層強化学習 (MA-DRL) アプローチを紹介します。
各衛星は、環境に関する部分的な知識を備えた独立した意思決定エージェントであり、近くのエージェントから受信したフィードバックによってサポートされています。
Q ルーティング ソリューションを導入した以前の作業を基にして、このペーパーの貢献は、次の 2 つのフェーズに基づいて、ネットワークとトラフィックの変化に迅速に適応できる深層学習フレームワークにそれを拡張することです。(1) オフライン探索
学習フェーズでは、グローバル ディープ ニューラル ネットワーク (DNN) に依存して、考えられる各位置と混雑レベルでの最適なパスを学習します。
(2) ローカルのオンボードの事前トレーニング済み DNN を使用したオンライン活用フェーズ。
結果は、MA-DRL が最適なルートをオフラインで効率的に学習し、それがオンラインで効率的な分散ルーティングにロードされることを示しています。

要約(オリジナル)

This paper introduces a Multi-Agent Deep Reinforcement Learning (MA-DRL) approach for routing in Low Earth Orbit Satellite Constellations (LSatCs). Each satellite is an independent decision-making agent with a partial knowledge of the environment, and supported by feedback received from the nearby agents. Building on our previous work that introduced a Q-routing solution, the contribution of this paper is to extend it to a deep learning framework able to quickly adapt to the network and traffic changes, and based on two phases: (1) An offline exploration learning phase that relies on a global Deep Neural Network (DNN) to learn the optimal paths at each possible position and congestion level; (2) An online exploitation phase with local, on-board, pre-trained DNNs. Results show that MA-DRL efficiently learns optimal routes offline that are then loaded for an efficient distributed routing online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google