Interpretable Reinforcement Learning via Neural Additive Models for Inventory Management

要約

COVID-19 のパンデミックにより、サプライ チェーンの重要性と、環境の動的な変化に対応するためのデジタル管理の役割が浮き彫りになりました。
この作業では、マルチエシェロン、つまりマルチステージのサプライチェーン向けの動的な在庫注文ポリシーの開発に焦点を当てています。
従来の在庫最適化手法は、静的な再注文ポリシーを決定することを目的としています。
したがって、これらのポリシーは、COVID-19 危機の際に見られたような動的な変化に適応することができません。
一方、従来の戦略には、解釈可能であるという利点があります。これは、サプライチェーン管理者が意思決定を利害関係者に伝えるために重要な機能です。
この制限に対処するために、従来の静的ポリシーと同じくらい解釈可能でありながら、他の深層学習ベースの強化学習ソリューションと同じくらい柔軟で環境にとらわれないことを目的とした、解釈可能な強化学習アプローチを提案します。
強化学習エージェントの解釈可能な動的ポリシーとして Neural Additive Models を使用することを提案し、このアプローチが標準の完全に接続されたポリシーと競合することを示します。
最後に、解釈可能性のプロパティを使用して、シンプルで直線的な 3 段階の在庫サプライ チェーンの複雑な注文戦略についての洞察を得ることができます。

要約(オリジナル)

The COVID-19 pandemic has highlighted the importance of supply chains and the role of digital management to react to dynamic changes in the environment. In this work, we focus on developing dynamic inventory ordering policies for a multi-echelon, i.e. multi-stage, supply chain. Traditional inventory optimization methods aim to determine a static reordering policy. Thus, these policies are not able to adjust to dynamic changes such as those observed during the COVID-19 crisis. On the other hand, conventional strategies offer the advantage of being interpretable, which is a crucial feature for supply chain managers in order to communicate decisions to their stakeholders. To address this limitation, we propose an interpretable reinforcement learning approach that aims to be as interpretable as the traditional static policies while being as flexible and environment-agnostic as other deep learning-based reinforcement learning solutions. We propose to use Neural Additive Models as an interpretable dynamic policy of a reinforcement learning agent, showing that this approach is competitive with a standard full connected policy. Finally, we use the interpretability property to gain insights into a complex ordering strategy for a simple, linear three-echelon inventory supply chain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google