Integrating Human Knowledge Through Action Masking in Reinforcement Learning for Operations Research

要約

強化学習（RL）は、オペレーションズ・リサーチにおける問題に対処するための強力な手法を提供する。しかし、その実世界での応用は、ユーザーの受容と信頼の欠如のためにしばしば失敗する。可能な救済策は、人間の専門家の知識を取り入れることによって、管理者にRL方針を変更する可能性を提供することである。本研究では、アクションマスキングによって人間の知識を取り入れることの利点と注意点を分析する。アクションマスキングはこれまで無効なアクションを除外するために使用されてきたが、人間の専門知識を統合する能力はまだ未解明である。人間の知識はしばしばヒューリスティックに包含され、特定の状況において合理的で最適に近い行動を提案する。そのような行動を強制することで、モデルの決定を信頼する人間の作業員の信頼が高まるはずである。しかし、ヒューリスティックな行動を厳格に強制することは、ポリシーが優れた行動を探索することを制限し、それによって全体的なパフォーマンスの低下を招く可能性もある。我々は、異なる特徴を持つ3つの問題、すなわち、塗装工場のスケジューリング、ピーク負荷管理、および在庫管理に基づいて、アクションマスキングの効果を分析する。その結果、アクションマスキングを通じて人間の知識を取り入れることで、アクションマスキングなしで訓練された政策よりも大幅な改善を達成できることが実証された。さらに、アクションマスキングは、あるアクションが限られた回数しか実行できないような制約のあるアクション空間において、効果的なポリシーを学習するために極めて重要であることがわかった。最後に、アクションマスクが過度に制限的である場合、最適な結果が得られない可能性を強調する。

要約(オリジナル)

Reinforcement learning (RL) provides a powerful method to address problems in operations research. However, its real-world application often fails due to a lack of user acceptance and trust. A possible remedy is to provide managers with the possibility of altering the RL policy by incorporating human expert knowledge. In this study, we analyze the benefits and caveats of including human knowledge via action masking. While action masking has so far been used to exclude invalid actions, its ability to integrate human expertise remains underexplored. Human knowledge is often encapsulated in heuristics, which suggest reasonable, near-optimal actions in certain situations. Enforcing such actions should hence increase trust among the human workforce to rely on the model’s decisions. Yet, a strict enforcement of heuristic actions may also restrict the policy from exploring superior actions, thereby leading to overall lower performance. We analyze the effects of action masking based on three problems with different characteristics, namely, paint shop scheduling, peak load management, and inventory management. Our findings demonstrate that incorporating human knowledge through action masking can achieve substantial improvements over policies trained without action masking. In addition, we find that action masking is crucial for learning effective policies in constrained action spaces, where certain actions can only be performed a limited number of times. Finally, we highlight the potential for suboptimal outcomes when action masks are overly restrictive.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL