A study on a Q-Learning algorithm application to a manufacturing assembly problem

要約

タイトル：製造組み立て問題へのQ学習アルゴリズムの応用に関する研究

要約：

– 機械学習アルゴリズムの開発は、製造における意思決定問題のモデル化の複雑さの増加に対処するためにますます重要になっている。
– 強化学習は、以前のトレーニングデータが必要なく、実際の操作でシステムが学ぶことができるため、大きなポテンシャルを持つ方法論である。
– この研究は、与えられたオブジェクトの組み立て問題に強化学習アルゴリズムを実装し、組み立てプロセスの時間を最適化するための提案手法の効果を特定することに焦点を当てている。
– モデルフリーのQ学習アルゴリズムを適用し、環境との連続的な相互作用からQ値の行列（Qテーブル）の学習を考慮して、組み立てシーケンスの解決策を提案する。
– この実装は、Q学習のパラメータと報酬の影響を評価し、強化学習エージェントのパフォーマンスを改善するために、複雑さを増す3つのシナリオを探究する。
– この最適化手法は、最適な組み立てシーケンスを98.3％の確率で学習することにより、非常に有望な結果を実現した。

要約(オリジナル)

The development of machine learning algorithms has been gathering relevance to address the increasing modelling complexity of manufacturing decision-making problems. Reinforcement learning is a methodology with great potential due to the reduced need for previous training data, i.e., the system learns along time with actual operation. This study focuses on the implementation of a reinforcement learning algorithm in an assembly problem of a given object, aiming to identify the effectiveness of the proposed approach in the optimisation of the assembly process time. A model-free Q-Learning algorithm is applied, considering the learning of a matrix of Q-values (Q-table) from the successive interactions with the environment to suggest an assembly sequence solution. This implementation explores three scenarios with increasing complexity so that the impact of the Q-Learning\textsc’s parameters and rewards is assessed to improve the reinforcement learning agent performance. The optimisation approach achieved very promising results by learning the optimal assembly sequence 98.3% of the times.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI