Multi-Agent Reinforcement Learning for Autonomous Multi-Satellite Earth Observation: A Realistic Case Study

要約

低地球軌道（LEO）衛星の指数成長は、地球観察（EO）ミッションに革命をもたらし、気候監視、災害管理などの課題に対処しています。
ただし、マルチサテライトシステムにおける自律的な調整は依然として根本的な課題です。
従来の最適化は、動的なEOミッションのリアルタイムの意思決定要求に対処するのに苦労し、強化学習（RL）とマルチエージェント補強学習（MARL）の使用を必要とします。
このホワイトペーパーでは、RLベースの自律的なEOミッション計画を調査し、単一衛星操作をモデル化し、MARLフレームワークを使用してマルチサテライト星座に拡張します。
エネルギーとデータの保管制限、衛星観測の不確実性、部分的な観測可能性の下での分散型調整の複雑さなど、重要な課題に対処します。
ほぼ現実的な衛星シミュレーション環境を活用することにより、PPO、IPPO、MAPPO、HAPPOなど、最先端のMARLアルゴリズムのトレーニングの安定性とパフォーマンスを評価します。
我々の結果は、MARLがマルチサテライトの調整における非定常性と報酬の相互依存関係に対処しながら、イメージングとリソース管理のバランスを効果的にバランスさせることができることを示しています。
この研究から得られた洞察は、自律的な衛星操作の基盤を提供し、分散型EOミッションでの政策学習を改善するための実用的なガイドラインを提供します。

要約(オリジナル)

The exponential growth of Low Earth Orbit (LEO) satellites has revolutionised Earth Observation (EO) missions, addressing challenges in climate monitoring, disaster management, and more. However, autonomous coordination in multi-satellite systems remains a fundamental challenge. Traditional optimisation approaches struggle to handle the real-time decision-making demands of dynamic EO missions, necessitating the use of Reinforcement Learning (RL) and Multi-Agent Reinforcement Learning (MARL). In this paper, we investigate RL-based autonomous EO mission planning by modelling single-satellite operations and extending to multi-satellite constellations using MARL frameworks. We address key challenges, including energy and data storage limitations, uncertainties in satellite observations, and the complexities of decentralised coordination under partial observability. By leveraging a near-realistic satellite simulation environment, we evaluate the training stability and performance of state-of-the-art MARL algorithms, including PPO, IPPO, MAPPO, and HAPPO. Our results demonstrate that MARL can effectively balance imaging and resource management while addressing non-stationarity and reward interdependency in multi-satellite coordination. The insights gained from this study provide a foundation for autonomous satellite operations, offering practical guidelines for improving policy learning in decentralised EO missions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google