The Impact of Overall Optimization on Warehouse Automation

要約

本研究では、マルチエージェント強化学習（MARL）ベースの制御を備えた自動倉庫における柔軟なロボット協調による最適化パフォーマンスを調査するための新しいアプローチを提案します。
ロボットを活用した自動化システムは、全体最適化の観点から手動システムに比べて効率的な運用が期待できます。
ただし、適切な制御方法が不足しているため、ほとんどの自動化システムでは全体的な最適化がパフォーマンスに与える影響は依然として不明瞭です。
そこで私たちは、実践的な全体最適制御手法として、集中学習・分散実行MARLフレームワークを提案しました。
提案されたフレームワークでは、異種エージェントが非同期に意思決定を行うケースに適用できる、グローバルな状態と報酬で訓練された単一の共有批評家も提案しました。
我々が提案したMARLフレームワークを、自動オーダーピッキングシミュレーションによるマテハン機器のタスク選択に適用し、他のMARLフレームワークやルールベースの制御手法と比較することで全体最適が部分最適をどの程度上回るかを評価しました。

要約(オリジナル)

In this study, we propose a novel approach for investigating optimization performance by flexible robot coordination in automated warehouses with multi-agent reinforcement learning (MARL)-based control. Automated systems using robots are expected to achieve efficient operations compared with manual systems in terms of overall optimization performance. However, the impact of overall optimization on performance remains unclear in most automated systems due to a lack of suitable control methods. Thus, we proposed a centralized training-and-decentralized execution MARL framework as a practical overall optimization control method. In the proposed framework, we also proposed a single shared critic, trained with global states and rewards, applicable to a case in which heterogeneous agents make decisions asynchronously. Our proposed MARL framework was applied to the task selection of material handling equipment through automated order picking simulation, and its performance was evaluated to determine how far overall optimization outperforms partial optimization by comparing it with other MARL frameworks and rule-based control methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google