Decision Transformer for Enhancing Neural Local Search on the Job Shop Scheduling Problem

要約

ジョブ ショップ スケジューリング問題 (JSSP) とその解決アルゴリズムは、何十年もの間、学界と産業界の両方で永続的な関心を集めてきました。
近年、機械学習 (ML) は、より短い計算時間でより良いソリューションを見つけることを目的として、JSSP の既存および新しいヒューリスティック ソリューションの構築においてますます重要な役割を果たしています。
このペーパーでは、JSSP 上で大規模なローカル近傍検索を効率的かつ効果的に制御できる、Neural Local Search (NLS) と呼ばれる最先端の深層強化学習 (DRL) エージェントを基盤に構築します。
特に、学習された意思決定シーケンスをさらに改善するために、訓練された NLS エージェントがたどる検索軌跡に基づいてディシジョン トランスフォーマー (DT) アルゴリズムを訓練する方法を開発します。
私たちの実験では、DT が、NLS エージェント自体の戦略とは異なる、そして多くの場合より効果的なローカル検索戦略を学習することに成功したことが示されています。
ソリューションの品質と検索に必要な許容可能な計算時間との間のトレードオフの観点から、DT は、より長い計算時間が許容されるアプリケーション シナリオで特に優れています。
この場合、ニューラル ネットワーク アーキテクチャが大きくなったことで生じる、検索ステップごとに必要な推論時間の増加を、ステップごとのより良い品質の決定によって補うことができます。
これにより、DT は、ML 拡張検索を使用して JSSP を解決するための最先端の結果を達成します。

要約(オリジナル)

The job shop scheduling problem (JSSP) and its solution algorithms have been of enduring interest in both academia and industry for decades. In recent years, machine learning (ML) is playing an increasingly important role in advancing existing and building new heuristic solutions for the JSSP, aiming to find better solutions in shorter computation times. In this paper we build on top of a state-of-the-art deep reinforcement learning (DRL) agent, called Neural Local Search (NLS), which can efficiently and effectively control a large local neighborhood search on the JSSP. In particular, we develop a method for training the decision transformer (DT) algorithm on search trajectories taken by a trained NLS agent to further improve upon the learned decision-making sequences. Our experiments show that the DT successfully learns local search strategies that are different and, in many cases, more effective than those of the NLS agent itself. In terms of the tradeoff between solution quality and acceptable computational time needed for the search, the DT is particularly superior in application scenarios where longer computational times are acceptable. In this case, it makes up for the longer inference times required per search step, which are caused by the larger neural network architecture, through better quality decisions per step. Thereby, the DT achieves state-of-the-art results for solving the JSSP with ML-enhanced search.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google