Training RL Agents for Multi-Objective Network Defense Tasks

要約

狭い能力よりも幅広い能力を達成するトレーニングエージェントを強調するオープンエンドラーニング（OEL）は、堅牢性と一般化を達成するために、人工知能（AI）エージェントを開発するためのパラダイムとして浮上しています。
ただし、OELの利点を実証する有望な結果にもかかわらず、OELを適用して実際のサイバーセキュリティアプリケーションの自律剤を開発することは依然として課題です。
OELに触発されたトレーニングアプローチを提案して、自律的なネットワークディフェンダーを開発します。
私たちの結果は、他のドメインと同様に、OELの原則がサイバー防衛のために、より堅牢で一般化可能なエージェントに変換できることを示しています。
OELをネットワーク防御に適用するには、いくつかの技術的な課題に対処する必要があります。
最も重要なことは、目標、報酬、およびアクションスペースよりも一貫したインターフェイスを維持する、幅広いタスクの宇宙にタスク表現アプローチを提供することが重要です。
このようにして、学習エージェントは、さまざまなネットワーク条件、攻撃者の行動、およびディフェンダーの目標でトレーニングしながら、以前に獲得した知識を構築することができます。
ツールと結果により、サイバーセキュリティの問題を解決するためにAIを適用する研究に根本的に影響を与えることを目指しています。
具体的には、研究者がサイバー防衛のためにジムとベンチマークを開発するにつれて、私たちが私たちの仕事で提案するような一貫した表現を備えた多様なタスクを考慮することが最も重要です。

要約(オリジナル)

Open-ended learning (OEL) — which emphasizes training agents that achieve broad capability over narrow competency — is emerging as a paradigm to develop artificial intelligence (AI) agents to achieve robustness and generalization. However, despite promising results that demonstrate the benefits of OEL, applying OEL to develop autonomous agents for real-world cybersecurity applications remains a challenge. We propose a training approach, inspired by OEL, to develop autonomous network defenders. Our results demonstrate that like in other domains, OEL principles can translate into more robust and generalizable agents for cyber defense. To apply OEL to network defense, it is necessary to address several technical challenges. Most importantly, it is critical to provide a task representation approach over a broad universe of tasks that maintains a consistent interface over goals, rewards and action spaces. This way, the learning agent can train with varying network conditions, attacker behaviors, and defender goals while being able to build on previously gained knowledge. With our tools and results, we aim to fundamentally impact research that applies AI to solve cybersecurity problems. Specifically, as researchers develop gyms and benchmarks for cyber defense, it is paramount that they consider diverse tasks with consistent representations, such as those we propose in our work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google