A deep reinforcement learning model for predictive maintenance planning of road assets: Integrating LCA and LCCA

要約

道路保守計画は、道路資産管理の不可欠な部分です。
メンテナンスとリハビリテーション (M&R) 実践における主な課題の 1 つは、メンテナンスの種類とタイミングを決定することです。
この研究では、長期舗装パフォーマンス (LTPP) データベースに基づく強化学習 (RL) を使用して、M&R 実践の種類とタイミングを決定するフレームワークを提案します。
予測 DNN モデルは、提案されたアルゴリズムで最初に開発され、RL アルゴリズムの環境として機能します。
RL モデルのポリシー推定のために、DQN モデルと PPO モデルの両方が開発されます。
ただし、より優れた収束性とより高いサンプル効率により、最終的には PPO が選択されました。
この研究で使用される指標は、国際粗さ指数 ​​(IRI) とわだち掘れ深さ (RD) です。
当初、クラッキング メトリクス (CM) を 3 番目の指標として検討していましたが、他の指標に比べてデータがはるかに少なく、結果の精度が低かったため除外されました。
さらに、費用対効果（報酬）の計算では、M&R処理による経済的影響と環境的影響の両方を考慮しました。
コストと環境への影響は paLATE 2.0 ソフトウェアで評価されています。
私たちの方法は、温暖で湿潤な気候を持つテキサス州にある長さ 23 キロメートルの 6 車線の高速道路の仮定のケーススタディでテストされています。
その結果、道路状況が良好な範囲に維持される 20 年間の M&R 計画が提案されました。
道路の初期状態は良好なサービスレベルにあるため、最初の数年間は大掛かりなメンテナンスを行う必要はありません。
その後、大規模な M&R 処置を行った後、1 ～ 2 年間は治療が不要になります。
これらはすべて、提案された計画が論理的な結果をもたらしていることを示しています。
意思決定者や運輸機関はこのスキームを利用して、予算の無駄を防ぎ、同時に環境への影響を最小限に抑えることができるより良いメンテナンスの実践を行うことができます。

要約(オリジナル)

Road maintenance planning is an integral part of road asset management. One of the main challenges in Maintenance and Rehabilitation (M&R) practices is to determine maintenance type and timing. This research proposes a framework using Reinforcement Learning (RL) based on the Long Term Pavement Performance (LTPP) database to determine the type and timing of M&R practices. A predictive DNN model is first developed in the proposed algorithm, which serves as the Environment for the RL algorithm. For the Policy estimation of the RL model, both DQN and PPO models are developed. However, PPO has been selected in the end due to better convergence and higher sample efficiency. Indicators used in this study are International Roughness Index (IRI) and Rutting Depth (RD). Initially, we considered Cracking Metric (CM) as the third indicator, but it was then excluded due to the much fewer data compared to other indicators, which resulted in lower accuracy of the results. Furthermore, in cost-effectiveness calculation (reward), we considered both the economic and environmental impacts of M&R treatments. Costs and environmental impacts have been evaluated with paLATE 2.0 software. Our method is tested on a hypothetical case study of a six-lane highway with 23 kilometers length located in Texas, which has a warm and wet climate. The results propose a 20-year M&R plan in which road condition remains in an excellent condition range. Because the early state of the road is at a good level of service, there is no need for heavy maintenance practices in the first years. Later, after heavy M&R actions, there are several 1-2 years of no need for treatments. All of these show that the proposed plan has a logical result. Decision-makers and transportation agencies can use this scheme to conduct better maintenance practices that can prevent budget waste and, at the same time, minimize the environmental impacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google