Scheduling Distributed Flexible Assembly Lines using Safe Reinforcement Learning with Soft Shielding

要約

高度に自動化された組立ラインにより、製造業、特に大量生産条件において生産性が大幅に向上します。
それにもかかわらず、受注生産や一括カスタマイズのためのジョブ スケジューリングには依然として課題があり、効率を向上させ、遅刻を減らし、安全性と信頼性を促進するためのさらなる調査が必要です。
この寄稿では、分散型柔軟な組立ラインのスケジューリング問題にリアルタイムで対処するための、アドバンテージ アクター クリティカル ベースの強化学習方法が提案されています。
パフォーマンスを向上させるために、より凝縮された環境表現アプローチが提案されています。これは、優先ディスパッチング ルールによって作成されたマスクと連携して、固定された有利なアクション スペースを生成するように設計されています。
さらに、モンテカルロ ツリー検索ベースのソフト シールド コンポーネントが開発されており、長期シーケンスに依存する安全でない動作に対処し、期限を過ぎたスケジュールのリスクを監視するのに役立ちます。
最後に、提案されたアルゴリズムとそのソフト シールド コンポーネントが性能評価で検証されます。

要約(オリジナル)

Highly automated assembly lines enable significant productivity gains in the manufacturing industry, particularly in mass production condition. Nonetheless, challenges persist in job scheduling for make-to-job and mass customization, necessitating further investigation to improve efficiency, reduce tardiness, promote safety and reliability. In this contribution, an advantage actor-critic based reinforcement learning method is proposed to address scheduling problems of distributed flexible assembly lines in a real-time manner. To enhance the performance, a more condensed environment representation approach is proposed, which is designed to work with the masks made by priority dispatching rules to generate fixed and advantageous action space. Moreover, a Monte-Carlo tree search based soft shielding component is developed to help address long-sequence dependent unsafe behaviors and monitor the risk of overdue scheduling. Finally, the proposed algorithm and its soft shielding component are validated in performance evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google