LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks

要約

ソフトウェア セキュリティ テストの重要なコンポーネントであるペネトレーション テストにより、組織はシステムの脆弱性を積極的に特定して修正できるため、潜在的なサイバー攻撃に対する防御メカニズムが強化されます。
侵入テストの分野における最近の進歩の 1 つは、言語モデル (LLM) の利用です。
私たちは LLM と侵入テストの交差点を調査し、特権昇格のコンテキストにおける LLM の機能と課題について洞察を深めます。
ローカル仮想マシンを利用して、自動化された Linux 権限昇格ベンチマークを作成します。
さまざまな LLM とプロンプト戦略をベンチマークに対して評価するために設計された、LLM ガイド付きの権限昇格ツールを導入します。
私たちの結果は、GPT-4 が通常、その脆弱性クラスのテスト ケースの 75 ～ 100% を解決できるため、ファイルベースのエクスプロイトの検出に適していることを示しています。
GPT-3.5-turbo はそれらの 25 ～ 50% しか解決できませんでしたが、Llama2 などのローカル モデルはエクスプロイトを検出できませんでした。
私たちは、さまざまなプロンプト設計の影響、コンテキスト内学習の利点、LLM に高レベルのガイダンスを提供する利点を分析します。
テスト中の集中力の維持、エラーへの対処、最後に確率論的なオウムと人間のハッカーの両方との比較など、LLM にとって困難な領域について説明します。

要約(オリジナル)

Penetration testing, an essential component of software security testing, allows organizations to proactively identify and remediate vulnerabilities in their systems, thus bolstering their defense mechanisms against potential cyberattacks. One recent advancement in the realm of penetration testing is the utilization of Language Models (LLMs). We explore the intersection of LLMs and penetration testing to gain insight into their capabilities and challenges in the context of privilege escalation. We create an automated Linux privilege-escalation benchmark utilizing local virtual machines. We introduce an LLM-guided privilege-escalation tool designed for evaluating different LLMs and prompt strategies against our benchmark. Our results show that GPT-4 is well suited for detecting file-based exploits as it can typically solve 75-100\% of test-cases of that vulnerability class. GPT-3.5-turbo was only able to solve 25-50% of those, while local models, such as Llama2 were not able to detect any exploits. We analyze the impact of different prompt designs, the benefits of in-context learning, and the advantages of offering high-level guidance to LLMs. We discuss challenging areas for LLMs, including maintaining focus during testing, coping with errors, and finally comparing them with both stochastic parrots as well as with human hackers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google