Multi-Agent Hybrid SAC for Joint SS-DSA in CRNs

要約

日和見的なスペクトル アクセスは、コグニティブ無線ネットワーク (CRN) におけるスペクトルの利用効率を高める可能性があります。
CRN では、セカンダリ ユーザーとプライマリ ネットワークの衝突を最小限に抑えながらシステム スループットを最大化するには、スペクトル センシングとリソース割り当て (SSRA) の両方が重要です。
ただし、動的スペクトル アクセスの多くの研究では、誤検出されたチャネルなどの不完全なセンシング情報の影響が考慮されていません。共同 SSRA で利用可能な追加情報は、その修正に役立ちます。
この研究では、チャネル センシング、チャネル アクセス、および送信電力の制約に従って CRN の正味通信速度を最大化することを目指す最適化として、共同 SSRA を検討します。
問題の重要な性質を考慮して、マルチエージェント強化学習を活用して、セカンダリ ユーザーのネットワークが、スペクトル センシングのエネルギー検出パラダイムに基づいて定式化されたローカル テスト統計のみを介して、占有されていないスペクトルに動的にアクセスできるようにします。
その際、QMIX ミキシング スキームに基づいて、ハイブリッド ソフト アクター クリティカルの新しいマルチエージェント実装である MHSAC を開発します。
実験を通じて、当社の SSRA アルゴリズムである HySSRA は、プライマリ ネットワークとの干渉を制限しながら、CRN のスペクトル リソースの利用を最大限に高めることに成功し、現在の最先端技術を大幅に上回っていることがわかりました。
また、コヒーレンス時間などの無線の変動がシステムの効率に及ぼす影響も調査します。

要約(オリジナル)

Opportunistic spectrum access has the potential to increase the efficiency of spectrum utilization in cognitive radio networks (CRNs). In CRNs, both spectrum sensing and resource allocation (SSRA) are critical to maximizing system throughput while minimizing collisions of secondary users with the primary network. However, many works in dynamic spectrum access do not consider the impact of imperfect sensing information such as mis-detected channels, which the additional information available in joint SSRA can help remediate. In this work, we examine joint SSRA as an optimization which seeks to maximize a CRN’s net communication rate subject to constraints on channel sensing, channel access, and transmit power. Given the non-trivial nature of the problem, we leverage multi-agent reinforcement learning to enable a network of secondary users to dynamically access unoccupied spectrum via only local test statistics, formulated under the energy detection paradigm of spectrum sensing. In doing so, we develop a novel multi-agent implementation of hybrid soft actor critic, MHSAC, based on the QMIX mixing scheme. Through experiments, we find that our SSRA algorithm, HySSRA, is successful in maximizing the CRN’s utilization of spectrum resources while also limiting its interference with the primary network, and outperforms the current state-of-the-art by a wide margin. We also explore the impact of wireless variations such as coherence time on the efficacy of the system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google