On the Analysis of Computational Delays in Reinforcement Learning-based Rate Adaptation Algorithms

要約

いくつかの研究では、強化学習 (RL) アルゴリズムを適用して、Wi-Fi ネットワークのレート適応 (RA) 問題を解決しています。
無線リンクの動的な性質により、アルゴリズムはリンク品質の変化に対応する必要があります。
アルゴリズムの実行の遅延は、そのパフォーマンスに悪影響を与える可能性があり、その結果、ネットワーク パフォーマンスが低下する可能性があります。
この側面は、最新技術では見過ごされてきた。
このホワイト ペーパーでは、RL ベースの RA アルゴリズムにおける一般的な計算遅延の分析を提示し、これらの計算遅延を削減し、このタイプのアルゴリズムの効率を高めるために適用できる方法論を提案します。
提案された方法論を既存の RL ベースの RA アルゴリズムに適用します。
得られた実験結果は、アルゴリズムの実行時間が 1 桁減少し、リンク品質の変化に対する応答性が向上したことを示しています。

要約(オリジナル)

Several research works have applied Reinforcement Learning (RL) algorithms to solve the Rate Adaptation (RA) problem in Wi-Fi networks. The dynamic nature of the radio link requires the algorithms to be responsive to changes in link quality. Delays in the execution of the algorithm may be detrimental to its performance, which in turn may decrease network performance. This aspect has been overlooked in the state of the art. In this paper, we present an analysis of common computational delays in RL-based RA algorithms, and propose a methodology that may be applied to reduce these computational delays and increase the efficiency of this type of algorithms. We apply the proposed methodology to an existing RL-based RA algorithm. The obtained experimental results indicate a reduction of one order of magnitude in the execution time of the algorithm, improving its responsiveness to link quality changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google