Learning Collaborative Information Dissemination with Graph-based Multi-Agent Reinforcement Learning

要約

最新の通信システムでは、災害対応、自動運転車、センサー ネットワークなどの分野にわたる重要な業務をサポートするために、効率的で信頼性の高い情報伝達が不可欠です。
このペーパーでは、より分散化された効率的で協調的なソリューションを実現するための重要な前進として、マルチエージェント強化学習 (MARL) アプローチを紹介します。
我々は、各エージェントがワンホップ近傍に基づいてメッセージ転送を独立して決定できるようにする、情報配布のための部分的に観察可能な確率的ゲーム (POSG) 定式化を提案します。
これは、マルチポイント リレー (MPR) 選択に基づく従来のヒューリスティックからの重要なパラダイム シフトを構成します。
私たちのアプローチは、グラフ畳み込み強化学習を利用し、動的注意を備えたグラフ アテンション ネットワーク (GAT) を採用して、重要なネットワーク特徴を捕捉します。
エージェント間で交換される情報が異なる、L-DGN と HL-DGN という 2 つのアプローチを提案します。
私たちは、広く使用されている MPR ヒューリスティックと比較することによって分散型アプローチのパフォーマンスを評価し、訓練されたポリシーが MPR セット選択プロセスをバイパスしながらネットワークを効率的にカバーできることを示します。
私たちのアプローチは、学習された協調的な情報配布を通じて、現実世界の放送通信インフラストラクチャの回復力をサポートするための第一歩です。

要約(オリジナル)

In modern communication systems, efficient and reliable information dissemination is crucial for supporting critical operations across domains like disaster response, autonomous vehicles, and sensor networks. This paper introduces a Multi-Agent Reinforcement Learning (MARL) approach as a significant step forward in achieving more decentralized, efficient, and collaborative solutions. We propose a Partially Observable Stochastic Game (POSG) formulation for information dissemination empowering each agent to decide on message forwarding independently, based on their one-hop neighborhood. This constitutes a significant paradigm shift from traditional heuristics based on Multi-Point Relay (MPR) selection. Our approach harnesses Graph Convolutional Reinforcement Learning, employing Graph Attention Networks (GAT) with dynamic attention to capture essential network features. We propose two approaches, L-DGN and HL-DGN, which differ in the information that is exchanged among agents. We evaluate the performance of our decentralized approaches, by comparing them with a widely-used MPR heuristic, and we show that our trained policies are able to efficiently cover the network while bypassing the MPR set selection process. Our approach is a first step toward supporting the resilience of real-world broadcast communication infrastructures via learned, collaborative information dissemination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google