Canaries and Whistles: Resilient Drone Communication Networks with (or without) Deep Reinforcement Learning

要約

過酷な環境に耐えられる通信ネットワークは、災害救援活動にとって非常に重要です。
このホワイトペーパーでは、ドローンが製造中にサプライチェーンで侵害され、広範囲にわたる感染性の混乱を引き起こす可能性のある悪意のあるソフトウェアが潜んでいるという困難なシナリオを検討します。
私たちは、継続的な敵対的干渉にもかかわらず通信帯域幅を最大化する防御戦略を学習するためのツールとして、マルチエージェント深層強化学習を研究しています。
ネットワーク復元戦略を学習するための公開チャレンジを使用して、最先端の専門技術を提案し、深層強化学習エージェントに対するその優位性を研究します。
これに応じて、学習ベースのエージェントのパフォーマンスを向上させるための 3 つの具体的な方法を特定します。(1) 各観察に必要な情報が含まれていることを確認する、(2) 専門エージェントを使用して学習のカリキュラムを提供する、(3) に細心の注意を払う
褒美。
私たちは私たちの手法を適用し、専門家と学習ベースのエージェントが協力して以前のすべての結果を改善できる新しい混合戦略を提示します。

要約(オリジナル)

Communication networks able to withstand hostile environments are critically important for disaster relief operations. In this paper, we consider a challenging scenario where drones have been compromised in the supply chain, during their manufacture, and harbour malicious software capable of wide-ranging and infectious disruption. We investigate multi-agent deep reinforcement learning as a tool for learning defensive strategies that maximise communications bandwidth despite continual adversarial interference. Using a public challenge for learning network resilience strategies, we propose a state-of-the-art expert technique and study its superiority over deep reinforcement learning agents. Correspondingly, we identify three specific methods for improving the performance of our learning-based agents: (1) ensuring each observation contains the necessary information, (2) using expert agents to provide a curriculum for learning, and (3) paying close attention to reward. We apply our methods and present a new mixed strategy enabling expert and learning-based agents to work together and improve on all prior results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google