Introducing PetriRL: An Innovative Framework for JSSP Resolution Integrating Petri nets and Event-based Reinforcement Learning

要約

今日の競争の激しい産業環境においては、リソースの利用と生産プロセスの最適化が企業にとって極めて重要です。
ジョブ ショップ スケジューリング問題 (JSSP) の複雑さに対処することは、生産性の向上、コストの削減、タイムリーな納品の確保に不可欠です。
私たちは、JSSP 最適化のためのペトリ ネットと深層強化学習 (DRL) を統合した新しいフレームワークである PetriRL を提案します。
PetriRL は、グラフ構造の利点を活用しながら、離散イベント システムをモデル化する際にペトリ ネットの固有の強みを活用します。
ペトリ ネットはプロセスの自動コンポーネントを管理し、JSSP 制約への準拠を保証します。
これにより、特に重要な意思決定において、DRL などの最適化アルゴリズムとの相乗的なコラボレーションが可能になります。
従来の方法とは異なり、PetriRL では、JSSP インスタンスを選言グラフに前処理する必要がなくなり、場所と遷移に基づくグラフィック構造を通じてプロセス ステータスの説明可能性が向上します。
さらに、ペトリ ネット固有のグラフ構造により、エージェントの再トレーニングを必要とせずに、推論フェーズ中にジョブ操作を動的に追加できるため、柔軟性が向上します。
実験結果は、さまざまなインスタンス サイズにわたる PetriRL の堅牢な一般化と、公開テスト ベンチマークおよびランダムに生成されたインスタンスにおける競争力のあるパフォーマンスを示しています。
結果は、ヒューリスティック、メタヒューリスティック、学習ベースのアルゴリズムなどの幅広い最適化ソリューションと比較されます。
最後に、イベントベースの制御やアクション マスキングなどのフレームワークの主要な要素の付加価値がアブレーション研究で研究されます。

要約(オリジナル)

Resource utilization and production process optimization are crucial for companies in today’s competitive industrial landscape. Addressing the complexities of job shop scheduling problems (JSSP) is essential to improving productivity, reducing costs, and ensuring timely delivery. We propose PetriRL, a novel framework integrating Petri nets and deep reinforcement learning (DRL) for JSSP optimization. PetriRL capitalizes on the inherent strengths of Petri nets in modelling discrete event systems while leveraging the advantages of a graph structure. The Petri net governs automated components of the process, ensuring adherence to JSSP constraints. This allows for synergistic collaboration with optimization algorithms such as DRL, particularly in critical decision-making. Unlike traditional methods, PetriRL eliminates the need to preprocess JSSP instances into disjunctive graphs and enhances the explainability of process status through its graphical structure based on places and transitions. Additionally, the inherent graph structure of Petri nets enables the dynamic additions of job operations during the inference phase without requiring agent retraining, thus enhancing flexibility. Experimental results demonstrate PetriRL’s robust generalization across various instance sizes and its competitive performance on public test benchmarks and randomly generated instances. Results are compared to a wide range of optimization solutions such as heuristics, metaheuristics, and learning-based algorithms. Finally, the added values of the framework’s key elements, such as event-based control and action masking, are studied in the ablation study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google