Fast Adaptive Anti-Jamming Channel Access via Deep Q Learning and Coarse-Grained Spectrum Prediction

要約

このホワイトペーパーでは、ジャマーが異なるチャネルをターゲットにするために戦略を動的に調整できる複雑で未知のジャミング環境におけるアンチジャミングチャネルアクセスの問題を調査します。
固定パターンを使用した従来のチャンネルホッピングアンチジャミングアプローチは、このような動的なジャミング攻撃に対して効果がありません。
新たなディープ補強学習（DRL）ベースの動的チャネルアクセスアプローチは、急速に変化するジャミング攻撃の下でナッシュ均衡を達成できますが、広範なトレーニングエピソードが必要です。
この問題に対処するために、「Jammerよりも速く学習する」という直観によって導かれる高速適応アンチジャミングチャネルアクセスアプローチを提案します。この場合、同期的に更新された粗粒スペクトル予測は、深いQ学習の補助タスクとして機能します（
DQN）ベースのジャミングアンチジャミングモデル。
これにより、モデルは標準のDRLと比較して優れたQ機能を特定しながら、トレーニングエピソードの数を大幅に削減できます。
数値結果は、提案されたアプローチがモデルトレーニングの収束率を大幅に加速し、標準のDRLと比較して必要なトレーニングエピソードを最大70％削減することを示しています。
さらに、粗粒スペクトル予測の効果的な使用により、NE戦略よりもスループットの10％の改善も達成されます。

要約(オリジナル)

This paper investigates the anti-jamming channel access problem in complex and unknown jamming environments, where the jammer could dynamically adjust its strategies to target different channels. Traditional channel hopping anti-jamming approaches using fixed patterns are ineffective against such dynamic jamming attacks. Although the emerging deep reinforcement learning (DRL) based dynamic channel access approach could achieve the Nash equilibrium under fast-changing jamming attacks, it requires extensive training episodes. To address this issue, we propose a fast adaptive anti-jamming channel access approach guided by the intuition of “learning faster than the jammer’, where a synchronously updated coarse-grained spectrum prediction serves as an auxiliary task for the deep Q learning (DQN) based anti-jamming model. This helps the model identify a superior Q-function compared to standard DRL while significantly reducing the number of training episodes. Numerical results indicate that the proposed approach significantly accelerates the rate of convergence in model training, reducing the required training episodes by up to 70% compared to standard DRL. Additionally, it also achieves a 10% improvement in throughput over NE strategies, owing to the effective use of coarse-grained spectrum prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google