A Federated Reinforcement Learning Framework for Link Activation in Multi-link Wi-Fi Networks

要約

タイトル：マルチリンクWi-Fiネットワークでのリンクアクティベーションのためのフェデレーテッド強化学習フレームワーク

要約：次世代のWi-Fiネットワークでは、複数リンクの動作(MLO)などの新しい機能を導入することで、より高いスループットと低いレイテンシを実現することを目指しています。しかしながら、利用可能なチャネル数が限られているため、複数のBSSが競合する場合に複数のリンクを使用すると、干渉やチャネル競合が増加し、性能や信頼性が低下する可能性があります。このような状況では、競合するすべてのBSSがリンクを減らすことでチャネルアクセスの競合が減少するため、リンク数を減らすべきです。近年、強化学習(RL)は、無線ネットワークでリソース割り当てを最適化するための潜在能力を証明しています。ただし、各無線ネットワークの独立した動作により、個々のネットワークが良好な構成を学習することは困難であるか、ほとんど不可能であることがあります。この問題を解決するために、本論文では、分散エージェント間でモデルをトレーニングする協調機械学習アプローチであるフェデレーテッド強化学習（FRL）フレームワークの使用を提案しています。これにより、隣接するBSSグループが最も良いMLO-Link Allocation（LA）戦略を共同で学習することができます。シミュレーション結果は、FRLベースの分散型MLO-LA戦略がスループットの公平性を改善するため、最小達成データレートを最大化するリンク割り当て戦略を異なるBSSが見つけることができるため、固定、ランダム、RLベースのMLO-LAスキームと比較してより高い信頼性を実現することを示しています。

要約(オリジナル)

Next-generation Wi-Fi networks are looking forward to introducing new features like multi-link operation (MLO) to both achieve higher throughput and lower latency. However, given the limited number of available channels, the use of multiple links by a group of contending Basic Service Sets (BSSs) can result in higher interference and channel contention, thus potentially leading to lower performance and reliability. In such a situation, it could be better for all contending BSSs to use less links if that contributes to reduce channel access contention. Recently, reinforcement learning (RL) has proven its potential for optimizing resource allocation in wireless networks. However, the independent operation of each wireless network makes difficult — if not almost impossible — for each individual network to learn a good configuration. To solve this issue, in this paper, we propose the use of a Federated Reinforcement Learning (FRL) framework, i.e., a collaborative machine learning approach to train models across multiple distributed agents without exchanging data, to collaboratively learn the the best MLO-Link Allocation (LA) strategy by a group of neighboring BSSs. The simulation results show that the FRL-based decentralized MLO-LA strategy achieves a better throughput fairness, and so a higher reliability — because it allows the different BSSs to find a link allocation strategy which maximizes the minimum achieved data rate — compared to fixed, random and RL-based MLO-LA schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI