Comparing Deep Reinforcement Learning Algorithms in Two-Echelon Supply Chains

要約

この研究では、サプライチェーンの在庫管理問題を解決するための最先端の深層強化学習アルゴリズムのパフォーマンスを分析および比較します。
この複雑な逐次意思決定問題は、一定の期間内にさまざまな倉庫で生産および出荷される製品の最適な数量を決定することで構成されます。
特に、確率的需要と季節的需要を備えた 2 階層のサプライ チェーン環境の数学的定式化を提示します。これにより、任意の数の倉庫と製品タイプを管理できます。
豊富な数値実験を通じて、さまざまなサプライ チェーン構造、トポロジ、需要、容量、コストの下で、さまざまな深層強化学習アルゴリズムのパフォーマンスを比較します。
実験計画の結果は、深層強化学習アルゴリズムが静的 (s, Q) ポリシーなどの従来の在庫管理戦略よりも優れていることを示しています。
さらに、この調査では、幅広いデータ駆動型アプローチを使用してサプライ チェーンの在庫管理問題を解決するためのカスタマイズ可能な環境を提供するオープンソース ソフトウェア ライブラリの設計と開発についての詳細な洞察が得られます。

要約(オリジナル)

In this study, we analyze and compare the performance of state-of-the-art deep reinforcement learning algorithms for solving the supply chain inventory management problem. This complex sequential decision-making problem consists of determining the optimal quantity of products to be produced and shipped across different warehouses over a given time horizon. In particular, we present a mathematical formulation of a two-echelon supply chain environment with stochastic and seasonal demand, which allows managing an arbitrary number of warehouses and product types. Through a rich set of numerical experiments, we compare the performance of different deep reinforcement learning algorithms under various supply chain structures, topologies, demands, capacities, and costs. The results of the experimental plan indicate that deep reinforcement learning algorithms outperform traditional inventory management strategies, such as the static (s, Q)-policy. Furthermore, this study provides detailed insight into the design and development of an open-source software library that provides a customizable environment for solving the supply chain inventory management problem using a wide range of data-driven approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google