Learning Multi-agent Multi-machine Tending by Mobile Robots

要約

ロボット工学は、製造業界で深刻化する労働者不足の課題に対処するのに役立ちます。
そのため、機械の管理は協働ロボットが取り組むことができるタスクであり、生産性を大幅に向上させることもできます。
それにもかかわらず、その分野に導入されている既存のロボット システムは固定のシングルアーム セットアップに依存しているのに対し、モバイル ロボットはより高い柔軟性と拡張性を提供できます。
この研究では、適切な観察と報酬の設計を備えたマルチエージェント強化学習 (MARL) 技術に基づいた、移動ロボットによるマルチエージェント マルチマシン テンディング学習フレームワークを紹介します。
さらに、アテンション ベースのエンコード メカニズムが開発され、Multi-agent Proximal Policy Optimization (MAPPO) アルゴリズムに統合され、マシン テンディング シナリオのパフォーマンスが向上します。
私たちのモデル (AB-MAPPO) は、この新しい困難なシナリオにおいて、タスクの成功、安全性、リソース利用の点で MAPPO を上回りました。
さらに、さまざまな設計上の決定をサポートするために、広範なアブレーション研究を提供しました。

要約(オリジナル)

Robotics can help address the growing worker shortage challenge of the manufacturing industry. As such, machine tending is a task collaborative robots can tackle that can also highly boost productivity. Nevertheless, existing robotics systems deployed in that sector rely on a fixed single-arm setup, whereas mobile robots can provide more flexibility and scalability. In this work, we introduce a multi-agent multi-machine tending learning framework by mobile robots based on Multi-agent Reinforcement Learning (MARL) techniques with the design of a suitable observation and reward. Moreover, an attention-based encoding mechanism is developed and integrated into Multi-agent Proximal Policy Optimization (MAPPO) algorithm to boost its performance for machine tending scenarios. Our model (AB-MAPPO) outperformed MAPPO in this new challenging scenario in terms of task success, safety, and resources utilization. Furthermore, we provided an extensive ablation study to support our various design decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google