Reinforcement Learning of Display Transfer Robots in Glass Flow Control Systems: A Physical Simulation-Based Approach

要約

フロー制御システムは、製造システムの生産能力を向上させるための重要な概念です。
生産性の向上を目的としたフロー制御に関連するスケジューリング最適化問題を解決するために、既存の手法は、ドメインの専門家によるヒューリスティックな設計に依存しています。
したがって、これらの方法では、実機を使用した修正、モニタリング、検証が必要です。
システム設計が複雑になるにつれて、監視時間が増加し、最適な設計に到達する確率が減少します。
フロー制御システムのヒューリスティック設計に対する代替アプローチとして、深層強化学習を使用してスケジューリング最適化問題を解決することが検討されてきました。
強化学習に関する既存の研究は、一部の分野では優れたパフォーマンスをもたらしていますが、その結果がディスプレイや半導体製造プロセスなどの実際のFABに適用できるかどうかは、これまでのところ明らかではありません。
この目的を達成するために、物理シミュレーション環境を実装し、強化学習を通じてディスプレイ製造における搬送ロボットを使用した実現可能なフロー制御システム設計を考案する方法を提案します。
さまざまなディスプレイ搬送ロボット用の仮想環境を構築するためのモデルとパラメータ設定、およびガラス流制御システムの最適なスケジューリングを取得するための環境上での強化学習のトレーニング方法を紹介します。
実際の工程で使用される各種ロボットを用いて実現可能性を検証しました。

要約(オリジナル)

A flow control system is a critical concept for increasing the production capacity of manufacturing systems. To solve the scheduling optimization problem related to the flow control with the aim of improving productivity, existing methods depend on a heuristic design by domain human experts. Therefore, the methods require correction, monitoring, and verification by using real equipment. As system designs increase in complexity, the monitoring time increases, which decreases the probability of arriving at the optimal design. As an alternative approach to the heuristic design of flow control systems, the use of deep reinforcement learning to solve the scheduling optimization problem has been considered. Although the existing research on reinforcement learning has yielded excellent performance in some areas, the applicability of the results to actual FAB such as display and semiconductor manufacturing processes is not evident so far. To this end, we propose a method to implement a physical simulation environment and devise a feasible flow control system design using a transfer robot in display manufacturing through reinforcement learning. We present a model and parameter setting to build a virtual environment for different display transfer robots, and training methods of reinforcement learning on the environment to obtain an optimal scheduling of glass flow control systems. Its feasibility was verified by using different types of robots used in the actual process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google