An actor-critic algorithm with policy gradients to solve the job shop scheduling problem using deep double recurrent agents

要約

機械学習技術と最適化を統合して、困難な最適化問題を解決することへの関心が高まっています。
この研究では、ジョブ ショップ スケジューリング問題 (JSSP) に対する深層強化学習方法論を提案します。
目的は、ジョブとマシンの数が異なる JSSP インスタンスのいくつかのディストリビューションで学習できる貪欲なヒューリスティックを構築することです。
迅速なスケジュール設定方法の必要性はよく知られており、交通機関から医療に至るまで、多くの分野で必要とされています。
JSSP をマルコフ決定プロセスとしてモデル化し、強化学習の有効性を利用して問題を解決します。
我々は、アクター批判スキームを採用しており、エージェントがとるアクションは、状態価値関数に関するポリシーの考慮事項によって影響されます。
この手順は、状態とアクション空間がインスタンスごとに変化するだけでなく、決定ごとに変化するという JSSP の困難な性質を考慮して調整されています。
入力内のジョブと操作の数の変動に対処するために、特別なタイプのディープ ニューラル ネットワークである 2 つのインシデント LSTM モデルを使用してエージェントをモデル化しました。
実験では、アルゴリズムが短時間で適切な解に到達することが示され、学習ベースの方法論だけから新しい貪欲なヒューリスティックを生成できることが証明されました。
市販のソルバー CPLEX と比較したベンチマークが生成されています。
予想通り、このモデルは、トレーニングで使用されたものとは異なる分布によって引き起こされる、より大きな問題やインスタンスをある程度まで一般化できます。

要約(オリジナル)

There is a growing interest in integrating machine learning techniques and optimization to solve challenging optimization problems. In this work, we propose a deep reinforcement learning methodology for the job shop scheduling problem (JSSP). The aim is to build up a greedy-like heuristic able to learn on some distribution of JSSP instances, different in the number of jobs and machines. The need for fast scheduling methods is well known, and it arises in many areas, from transportation to healthcare. We model the JSSP as a Markov Decision Process and then we exploit the efficacy of reinforcement learning to solve the problem. We adopt an actor-critic scheme, where the action taken by the agent is influenced by policy considerations on the state-value function. The procedures are adapted to take into account the challenging nature of JSSP, where the state and the action space change not only for every instance but also after each decision. To tackle the variability in the number of jobs and operations in the input, we modeled the agent using two incident LSTM models, a special type of deep neural network. Experiments show the algorithm reaches good solutions in a short time, proving that is possible to generate new greedy heuristics just from learning-based methodologies. Benchmarks have been generated in comparison with the commercial solver CPLEX. As expected, the model can generalize, to some extent, to larger problems or instances originated by a different distribution from the one used in training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google