An investigation of belief-free DRL and MCTS for inspection and maintenance planning

要約

我々は、検査および保守（I&M）計画で遭遇するような、不確実性の下での逐次的意思決定プロセスのための新しい深層強化学習（DRL）アーキテクチャを提案します。
(I&M) 計画用の他の DRL アルゴリズムとは異なり、提案された +RQN アーキテクチャは信念状態の計算を省略し、代わりに誤った観測を直接処理します。
このアルゴリズムを、劣化しやすい 1 コンポーネント システムの基本的な I&M 計画問題に適用します。
さらに、I&M 問題に対するモンテカルロ木探索のパフォーマンスを調査し、+RQN と比較します。
比較には、2 つの手法の結果として得られるポリシーの統計分析と、信念空間でのそれらの視覚化が含まれます。

要約(オリジナル)

We propose a novel Deep Reinforcement Learning (DRL) architecture for sequential decision processes under uncertainty, as encountered in inspection and maintenance (I&M) planning. Unlike other DRL algorithms for (I&M) planning, the proposed +RQN architecture dispenses with computing the belief state and directly handles erroneous observations instead. We apply the algorithm to a basic I&M planning problem for a one-component system subject to deterioration. In addition, we investigate the performance of Monte Carlo tree search for the I&M problem and compare it to the +RQN. The comparison includes a statistical analysis of the two methods’ resulting policies, as well as their visualization in the belief space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google