Contingency Planning Using Bi-level Markov Decision Processes for Space Missions

要約

この研究は、名目上のミッション計画からの遅延または逸脱が発生した場合に、状態空間内の名目外の点から迅速な政策計算を可能にすることにより、科学ミッションの自律的な緊急時対応計画に焦点を当てています。
緊急時対応計画を成功させるには、確率論的なシナリオで、行動に確率的に関連付けられるリスクと報酬を管理することが含まれます。
マルコフ意思決定プロセス (MDP) は、このようなシナリオでの意思決定を数学的にモデル化するために使用されます。
しかし、惑星探査機の横断計画という特殊なケースでは、広大な行動空間と長い計画期間が計算上の課題を引き起こします。
2 レベルの MDP フレームワークは、計算の扱いやすさを向上させると同時に、既存のミッション計画の実践と整合し、AI 主導のソリューションの説明可能性と信頼性を高めるために提案されています。
ミッション計画 MDP の 2 レベル MDP への変換について説明し、ローバー ミッション計画用に変更された GridWorld 環境である RoverGridWorld でフレームワークをテストします。
我々は、バイレベル MDP アプローチで達成可能な計算の扱いやすさと最適に近いポリシーを実証し、問題の複雑さが増すにつれて計算時間とポリシーの最適性の間のトレードオフを強調します。
この取り組みにより、科学ミッションの状況において、より効率的かつ柔軟な緊急事態計画が容易になります。

要約(オリジナル)

This work focuses on autonomous contingency planning for scientific missions by enabling rapid policy computation from any off-nominal point in the state space in the event of a delay or deviation from the nominal mission plan. Successful contingency planning involves managing risks and rewards, often probabilistically associated with actions, in stochastic scenarios. Markov Decision Processes (MDPs) are used to mathematically model decision-making in such scenarios. However, in the specific case of planetary rover traverse planning, the vast action space and long planning time horizon pose computational challenges. A bi-level MDP framework is proposed to improve computational tractability, while also aligning with existing mission planning practices and enhancing explainability and trustworthiness of AI-driven solutions. We discuss the conversion of a mission planning MDP into a bi-level MDP, and test the framework on RoverGridWorld, a modified GridWorld environment for rover mission planning. We demonstrate the computational tractability and near-optimal policies achievable with the bi-level MDP approach, highlighting the trade-offs between compute time and policy optimality as the problem’s complexity grows. This work facilitates more efficient and flexible contingency planning in the context of scientific missions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google