Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning Framework for Congestion Control in Tactical Environments

要約

TCP Cubic などの従来の輻輳制御 (CC) アルゴリズムは、パケット損失やネットワーク パフォーマンスの変動を輻輳の症状として誤って解釈するため、戦術的な環境では困難を伴います。
当社独自の MARLIN を含む最近の取り組みでは、CC のための強化学習 (RL) の使用が検討されていますが、特に競争、不安定、予期せぬシナリオでは、一般化には至らないことがよくあります。
これらの課題に対処するために、この文書では、正確で並列化可能なエミュレーション環境を活用して戦術ネットワークの状態を再現する RL フレームワークを提案します。
また、このような複雑なシナリオで動作するエージェントに合わせて調整された、洗練された RL の定式化とパフォーマンスの評価方法も紹介します。
衛星通信 (SATCOM) と UHF 広帯域 (UHF) 無線リンクの間のボトルネック リンク遷移を再現する条件で MARLIN エージェントをトレーニングすることにより、RL 学習フレームワークを評価します。
最後に、ファイル転送タスクのパフォーマンスを、伝送制御プロトコル (TCP) Cubic および Mockets 戦術通信ミドルウェアに実装されたデフォルト戦略と比較しました。
この結果は、MARLIN RL エージェントがさまざまな観点から TCP と Mockets の両方を上回るパフォーマンスを示し、戦術的なネットワーク環境向けに CC を最適化する際の特殊な RL ソリューションの有効性を強調しています。

要約(オリジナル)

Conventional Congestion Control (CC) algorithms,such as TCP Cubic, struggle in tactical environments as they misinterpret packet loss and fluctuating network performance as congestion symptoms. Recent efforts, including our own MARLIN, have explored the use of Reinforcement Learning (RL) for CC, but they often fall short of generalization, particularly in competitive, unstable, and unforeseen scenarios. To address these challenges, this paper proposes an RL framework that leverages an accurate and parallelizable emulation environment to reenact the conditions of a tactical network. We also introduce refined RL formulation and performance evaluation methods tailored for agents operating in such intricate scenarios. We evaluate our RL learning framework by training a MARLIN agent in conditions replicating a bottleneck link transition between a Satellite Communication (SATCOM) and an UHF Wide Band (UHF) radio link. Finally, we compared its performance in file transfer tasks against Transmission Control Protocol (TCP) Cubic and the default strategy implemented in the Mockets tactical communication middleware. The results demonstrate that the MARLIN RL agent outperforms both TCP and Mockets under different perspectives and highlight the effectiveness of specialized RL solutions in optimizing CC for tactical network environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google