Out of the Cage: How Stochastic Parrots Win in Cyber Security Environments

要約

大規模言語モデル (LLM) は、テキスト生成、要約、さまざまな自然言語処理タスクを含むさまざまな分野で広く普及しています。
固有の制限にもかかわらず、LLM ベースの設計は、オープンワールド シナリオの計画とナビゲートにおいて有望な機能を示しています。
この論文では、サイバーセキュリティ ネットワーク環境内のエージェントとしての事前トレーニング済み LLM の新しいアプリケーションを紹介し、逐次的な意思決定プロセスにおける LLM の有用性に焦点を当てます。
事前トレーニングされた LLM が 2 つの強化学習環境で攻撃エージェントとして活用されるアプローチを紹介します。
私たちが提案するエージェントは、ほとんどのシナリオと構成で、数千のエピソード向けにトレーニングされた最先端のエージェントと同等またはそれ以上のパフォーマンスを示します。
さらに、最高の LLM エージェントは、追加のトレーニング プロセスを必要とせずに、人間の環境テスターと同様のパフォーマンスを発揮します。
この設計は、サイバーセキュリティ内の複雑な意思決定タスクに効率的に対処する LLM の可能性を強調しています。
さらに、NetSecGame という新しいネットワーク セキュリティ環境を導入します。
この環境は、最終的にはネットワーク セキュリティ ドメイン内の複雑なマルチエージェント シナリオをサポートするように設計されています。
提案された環境は実際のネットワーク攻撃を模倣しており、高度にモジュール化され、さまざまなシナリオに適応できるように設計されています。

要約(オリジナル)

Large Language Models (LLMs) have gained widespread popularity across diverse domains involving text generation, summarization, and various natural language processing tasks. Despite their inherent limitations, LLM-based designs have shown promising capabilities in planning and navigating open-world scenarios. This paper introduces a novel application of pre-trained LLMs as agents within cybersecurity network environments, focusing on their utility for sequential decision-making processes. We present an approach wherein pre-trained LLMs are leveraged as attacking agents in two reinforcement learning environments. Our proposed agents demonstrate similar or better performance against state-of-the-art agents trained for thousands of episodes in most scenarios and configurations. In addition, the best LLM agents perform similarly to human testers of the environment without any additional training process. This design highlights the potential of LLMs to efficiently address complex decision-making tasks within cybersecurity. Furthermore, we introduce a new network security environment named NetSecGame. The environment is designed to eventually support complex multi-agent scenarios within the network security domain. The proposed environment mimics real network attacks and is designed to be highly modular and adaptable for various scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google