A Maintenance Planning Framework using Online and Offline Deep Reinforcement Learning

要約

タイトル：オンラインとオフラインのディープ強化学習を用いたメンテナンス計画のフレームワーク
要約：
– コスト効果的な資産管理は、多くの産業において興味のある分野である。
– 本論文では、継続的に劣化していく水道管に最適な修復方針を自動的に決定するためのディープ強化学習（DRL）ソリューションを開発する。
– リハビリテーション計画の問題には、オンラインおよびオフラインのDRLセッティングで取り組んでいる。
– オンラインDRLでは、エージェントが複数の長さ、材料、および故障率の特性を持つシミュレートされた複数のパイプの環境とやり取りする。エージェントをDeep Q-learning（DQN）で訓練し、平均コストを最小限に抑え、故障確率を低減する最適なポリシーを学習することを目指す。
– オフライン学習では、エージェントは静的なデータ（たとえば、DQNリプレイデータ）を使用して、環境とのさらなる相互作用なしに保守計画を学習する。保守計画は、保守、修正、および貪欲な計画の標準的なオルタナティブよりもDRLによるポリシーが改善されることを示す。さらに、オフラインセッティングで固定されたDQNリプレイデータセットから学習することで、パフォーマンスがさらに向上することが示唆される。
– 結果は、水道管の既存の劣化プロファイルが大きく多様な状態と行動軌跡で構成されているため、オフラインセッティングでリハビリテーションポリシーを学習する貴重な手段を提供することを保証する。

要約(オリジナル)

Cost-effective asset management is an area of interest across several industries. Specifically, this paper develops a deep reinforcement learning (DRL) solution to automatically determine an optimal rehabilitation policy for continuously deteriorating water pipes. We approach the problem of rehabilitation planning in an online and offline DRL setting. In online DRL, the agent interacts with a simulated environment of multiple pipes with distinct lengths, materials, and failure rate characteristics. We train the agent using deep Q-learning (DQN) to learn an optimal policy with minimal average costs and reduced failure probability. In offline learning, the agent uses static data, e.g., DQN replay data, to learn an optimal policy via a conservative Q-learning algorithm without further interactions with the environment. We demonstrate that DRL-based policies improve over standard preventive, corrective, and greedy planning alternatives. Additionally, learning from the fixed DQN replay dataset in an offline setting further improves the performance. The results warrant that the existing deterioration profiles of water pipes consisting of large and diverse states and action trajectories provide a valuable avenue to learn rehabilitation policies in the offline setting, which can be further fine-tuned using the simulator.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI