Act as You Learn: Adaptive Decision-Making in Non-Stationary Markov Decision Processes

要約

逐次的な意思決定における基本的な（そして大部分は未解決の）課題は、外生的な環境条件が時間とともに変化する非定常環境を扱うことである。このような問題は従来、非定常マルコフ決定過程（NSMDP）としてモデル化されてきた。しかしながら、NSMDPにおける意思決定のための既存のアプローチには2つの大きな欠点がある。第1に、それらは現在時刻における更新された環境ダイナミクスが既知であると仮定していること（将来のダイナミクスは変化しうるが）、第2に、プランニングは大部分が悲観的であること、すなわち、エージェントは環境の非定常的な進化を考慮して“安全に”行動することである。更新された環境条件が既知であることは稀であり、エージェントが環境と相互作用することで、更新されたダイナミクスを学習し、少なくともそのダイナミクスが確信できる状態においては悲観的になることを避けることができる。我々は、このような課題に対処する「適応モンテカルロ木探索（Adaptive Monte Carlo Tree Search：ADA-MCTS）」と呼ばれる発見的探索アルゴリズムを紹介する。すなわち、エージェントが更新された知識を持つ状態空間の領域にいる場合、悲観的になることを避けることができる。更新された知識」を定量化するために、エージェントの更新された信念におけるアレエイター的不確実性とエピステーミック不確実性を分解し、エージェントが意思決定にこれらの推定値をどのように利用できるかを示す。我々は、提案されたアプローチと、確立された複数のオープンソース問題における意思決定における複数の最先端アプローチとを比較し、我々のアプローチが安全性を犠牲にすることなく、より高速で高度に適応的であることを実証的に示す。

要約(オリジナル)

A fundamental (and largely open) challenge in sequential decision-making is dealing with non-stationary environments, where exogenous environmental conditions change over time. Such problems are traditionally modeled as non-stationary Markov decision processes (NSMDP). However, existing approaches for decision-making in NSMDPs have two major shortcomings: first, they assume that the updated environmental dynamics at the current time are known (although future dynamics can change); and second, planning is largely pessimistic, i.e., the agent acts “safely” to account for the non-stationary evolution of the environment. We argue that both these assumptions are invalid in practice — updated environmental conditions are rarely known, and as the agent interacts with the environment, it can learn about the updated dynamics and avoid being pessimistic, at least in states whose dynamics it is confident about. We present a heuristic search algorithm called \textit{Adaptive Monte Carlo Tree Search (ADA-MCTS)} that addresses these challenges. We show that the agent can learn the updated dynamics of the environment over time and then act as it learns, i.e., if the agent is in a region of the state space about which it has updated knowledge, it can avoid being pessimistic. To quantify “updated knowledge,” we disintegrate the aleatoric and epistemic uncertainty in the agent’s updated belief and show how the agent can use these estimates for decision-making. We compare the proposed approach with the multiple state-of-the-art approaches in decision-making across multiple well-established open-source problems and empirically show that our approach is faster and highly adaptive without sacrificing safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL