Spacecraft Autonomous Decision-Planning for Collision Avoidance: a Reinforcement Learning Approach

要約

地球の周囲の宇宙環境には、活動中の宇宙船とスペースデブリの両方がますます多く存在します。
潜在的な衝突事象を回避するために、宇宙状況認識 (SSA) 活動と衝突回避 (CA) 技術が大幅に改善され、精度と信頼性が向上して宇宙船の追跡と操縦が可能になりました。
ただし、これらの手順では、必要な決定を下すために依然として高度な人間の介入が必要となります。
ますます複雑化する宇宙環境では、この意思決定戦略が持続可能である可能性は低くなります。
したがって、多数の宇宙船の航行に必要な信頼性のレベルを確保するには、主要な宇宙交通管理 (STM) プロセスに対してより高いレベルの自動化をうまく導入することが重要です。
これらのプロセスは、衝突リスクの検出から、取るべき適切な行動の特定および回避操作の実行まで多岐にわたります。
この研究では、強化学習 (RL) 技術に基づいた宇宙船への自律 CA 意思決定機能の実装を提案しています。
部分的に観察可能なマルコフ決定プロセス (POMDP) フレームワークに基づく新しい方法論が、認識論的不確実性と偶発的不確実性を考慮して、宇宙船に搭載された人工知能 (AI) システムを訓練するために開発されました。
提案されたフレームワークは、軌道上のデブリの状態に関する不完全な監視情報を考慮し、AI システムが確率的ポリシーを効果的に学習して正確な衝突回避操作 (CAM) を実行できるようにします。
目的は、人間の介入なしに、CAM を自律的に実装するための意思決定プロセスを宇宙船にうまく委任することです。
このアプローチにより、意思決定プロセスでのより迅速な対応と高度に分散された運用が可能になります。

要約(オリジナル)

The space environment around the Earth is becoming increasingly populated by both active spacecraft and space debris. To avoid potential collision events, significant improvements in Space Situational Awareness (SSA) activities and Collision Avoidance (CA) technologies are allowing the tracking and maneuvering of spacecraft with increasing accuracy and reliability. However, these procedures still largely involve a high level of human intervention to make the necessary decisions. For an increasingly complex space environment, this decision-making strategy is not likely to be sustainable. Therefore, it is important to successfully introduce higher levels of automation for key Space Traffic Management (STM) processes to ensure the level of reliability needed for navigating a large number of spacecraft. These processes range from collision risk detection to the identification of the appropriate action to take and the execution of avoidance maneuvers. This work proposes an implementation of autonomous CA decision-making capabilities on spacecraft based on Reinforcement Learning (RL) techniques. A novel methodology based on a Partially Observable Markov Decision Process (POMDP) framework is developed to train the Artificial Intelligence (AI) system on board the spacecraft, considering epistemic and aleatory uncertainties. The proposed framework considers imperfect monitoring information about the status of the debris in orbit and allows the AI system to effectively learn stochastic policies to perform accurate Collision Avoidance Maneuvers (CAMs). The objective is to successfully delegate the decision-making process for autonomously implementing a CAM to the spacecraft without human intervention. This approach would allow for a faster response in the decision-making process and for highly decentralized operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google