Multi-Agent Reinforcement Learning for Pragmatic Communication and Control

要約

工場と製造プロセスの自動化は、モバイルで柔軟なエージェントを使用した多様なシナリオを含むインダストリー 4.0 パラダイムによって後押しされ、ここ数年で加速しています。
移動ロボット間の効率的な調整には、非常に動的な環境での信頼性の高いワイヤレス伝送が必要であり、多くの場合、厳しいタイミング要件があります。
目標指向のコミュニケーションは、この問題の可能な解決策です。コミュニケーションの決定は、ターゲット コントロール タスクに対して最適化され、実行するアクションを決定するために最も関連性の高い情報を提供する必要があります。
制御の観点からは、ネットワーク化された制御設計では、物理的な動作を最適化する際に通信障害が考慮されます。
この作業では、目標指向の通信とネットワーク制御を単一の最適化モデルに結合する共同設計を提案します。これは、サイバーフィジカル POMDP (CP-POMDP) と呼ばれるマルチエージェント POMDP の拡張です。
このモデルは、いくつかの群れと協調シナリオを表すのに十分な柔軟性を備えており、単一のエージェントと一連のサポート センサーを使用した 2 つの単純な参照シナリオでその可能性を示します。
通信システムと制御システムの共同トレーニングは、特に通信が非常に制約されている場合に、全体的なパフォーマンスを大幅に改善することができ、通信アクションの暗黙の調整につながることさえあります。

要約(オリジナル)

The automation of factories and manufacturing processes has been accelerating over the past few years, boosted by the Industry 4.0 paradigm, including diverse scenarios with mobile, flexible agents. Efficient coordination between mobile robots requires reliable wireless transmission in highly dynamic environments, often with strict timing requirements. Goal-oriented communication is a possible solution for this problem: communication decisions should be optimized for the target control task, providing the information that is most relevant to decide which action to take. From the control perspective, networked control design takes the communication impairments into account in its optmization of physical actions. In this work, we propose a joint design that combines goal-oriented communication and networked control into a single optimization model, an extension of a multiagent POMDP which we call Cyber-Physical POMDP (CP-POMDP). The model is flexible enough to represent several swarm and cooperative scenarios, and we illustrate its potential with two simple reference scenarios with a single agent and a set of supporting sensors. Joint training of the communication and control systems can significantly improve the overall performance, particularly if communication is severely constrained, and can even lead to implicit coordination of communication actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google