Inroads into Autonomous Network Defence using Explained Reinforcement Learning

要約

コンピュータ ネットワークの防御は複雑なタスクであり、人間の高度な関与が必要です。
しかし、最近の機械学習の進歩により、完全に自律的なネットワーク防御がますます現実的になってきています。
この文書では、攻撃戦略の研究、防御エージェントの設計、およびその動作の説明のためのエンドツーエンドの方法論を紹介します。
まず、状態図を使用して敵対的な行動を視覚化し、潜在的な介入ポイントに関する洞察を取得し、防御モデルの設計に情報を提供します。
タスクのさまざまな部分でトレーニングされ、浅い階層で編成された深層強化学習エージェントのセットを使用することを選択します。
私たちの評価では、結果として得られた設計が以前の作業と比較して大幅なパフォーマンスの向上を達成していることがわかりました。
最後に、エージェントの意思決定プロセスをより詳しく調査するために、特徴の除去と重要性の調査を行って分析を完了します。

要約(オリジナル)

Computer network defence is a complicated task that has necessitated a high degree of human involvement. However, with recent advancements in machine learning, fully autonomous network defence is becoming increasingly plausible. This paper introduces an end-to-end methodology for studying attack strategies, designing defence agents and explaining their operation. First, using state diagrams, we visualise adversarial behaviour to gain insight about potential points of intervention and inform the design of our defensive models. We opt to use a set of deep reinforcement learning agents trained on different parts of the task and organised in a shallow hierarchy. Our evaluation shows that the resulting design achieves a substantial performance improvement compared to prior work. Finally, to better investigate the decision-making process of our agents, we complete our analysis with a feature ablation and importance study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google