On the Feasibility of Using LLMs to Autonomously Execute Multi-host Network Attacks

要約

LLMは、一部のセキュリティタスクとCTFの課題で予備的な約束を示しています。
実際のサイバー攻撃は、多くの場合、マルチホストネットワーク攻撃であり、偵察の実施、脆弱性の悪用、妥協したホストを使用してデータを除去するなど、複数のホストで多くのステップを実行することが含まれます。
これまで、LLMSがマルチホストネットワーク攻撃を自律的に実行できる程度はよく理解されていません。
この目的のために、私たちの最初の貢献は、10のリアルなエミュレートネットワーク（25〜50ホスト）を備えたオープンソースのマルチホスト攻撃ベンチマークであるMHBenchです。
最新のセキュリティ関連プロンプト戦略を備えた最新の推論モデル（GPT4O、GEMINI 2.5 Pro、Sonnet 3.7思考）を含む人気のあるLLM（例：Pentestgpt、Cyber​​seceval3）は、マルチホストネットワーク攻撃を自律的に実行できないことがわかります。
LLMがそのような攻撃を自律的に実行できるようにするために、2番目の貢献は高レベルの抽象化層であるIncalmoです。
Incalmoにより、LLMは高レベルのアクションを指定できます（たとえば、ホストに感染し、ネットワークをスキャンします）。
Incalmoの翻訳層は、これらのアクションを専門家エージェントを介して低レベルのプリミティブ（たとえば、ツールを悪用するためのコマンド）に変換します。
MHBenchの10のネットワークのうち9つで、Incalmoを使用したLLMSは、少なくとも攻撃目標の一部を達成しています。
Incalmoを装備したより小さなLLM（例：Haiku 3.5、Gemini 2 Flash）は、10の環境のうち5つの環境ですべての目標を達成しています。
また、LLMがそのような攻撃を自律的に実行できるようにする際のIncalmoの抽象化における高レベルのアクションの重要な役割を検証します。

要約(オリジナル)

LLMs have shown preliminary promise in some security tasks and CTF challenges. Real cyberattacks are often multi-host network attacks, which involve executing a number of steps across multiple hosts such as conducting reconnaissance, exploiting vulnerabilities, and using compromised hosts to exfiltrate data. To date, the extent to which LLMs can autonomously execute multi-host network attacks} is not well understood. To this end, our first contribution is MHBench, an open-source multi-host attack benchmark with 10 realistic emulated networks (from 25 to 50 hosts). We find that popular LLMs including modern reasoning models (e.g., GPT4o, Gemini 2.5 Pro, Sonnet 3.7 Thinking) with state-of-art security-relevant prompting strategies (e.g., PentestGPT, CyberSecEval3) cannot autonomously execute multi-host network attacks. To enable LLMs to autonomously execute such attacks, our second contribution is Incalmo, an high-level abstraction layer. Incalmo enables LLMs to specify high-level actions (e.g., infect a host, scan a network). Incalmo’s translation layer converts these actions into lower-level primitives (e.g., commands to exploit tools) through expert agents. In 9 out of 10 networks in MHBench, LLMs using Incalmo achieve at least some of the attack goals. Even smaller LLMs (e.g., Haiku 3.5, Gemini 2 Flash) equipped with Incalmo achieve all goals in 5 of 10 environments. We also validate the key role of high-level actions in Incalmo’s abstraction in enabling LLMs to autonomously execute such attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google