LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks

要約

ソフトウェア セキュリティ テストの重要なコンポーネントであるペネトレーション テストにより、組織はシステムの脆弱性を特定して修正できるため、サイバー攻撃に対する防御メカニズムが強化されます。
侵入テストの分野における最近の進歩の 1 つは、言語モデル (LLM) の利用です。
私たちは LLM と侵入テストの交差点を調査し、特権昇格のコンテキストにおける LLM の機能と課題について洞察を深めます。
(倫理的な) ハッキングに対する LLM の有効性を評価し、複数の LLM を使用してベンチマークを実行し、それぞれの結果を調査するために設計された、完全に自動化された権限昇格ツールを紹介します。
私たちの結果は、GPT-4-turbo が脆弱性の悪用に適していることを示しています (脆弱性の 33 ～ 83%)。
GPT-3.5-turbo は脆弱性の 16 ～ 50% を悪用する可能性がありますが、Llama3 などのローカル モデルは脆弱性の 0 ～ 33% しか悪用できません。
私たちは、さまざまなコンテキスト サイズ、コンテキスト内学習、オプションの高レベルのガイダンス メカニズム、およびメモリ管理手法の影響を分析します。
テスト中の集中力の維持、エラーへの対処、最後に LLM と人間のハッカーの比較など、LLM にとって困難な領域について説明します。
LLM ガイドによる権限昇格プロトタイプの現在のバージョンは、https://github.com/ipa-labs/hackingBuddyGPT にあります。

要約(オリジナル)

Penetration testing, an essential component of software security testing, allows organizations to identify and remediate vulnerabilities in their systems, thus bolstering their defense mechanisms against cyberattacks. One recent advancement in the realm of penetration testing is the utilization of Language Models (LLMs). We explore the intersection of LLMs and penetration testing to gain insight into their capabilities and challenges in the context of privilege escalation. We introduce a fully automated privilege-escalation tool designed for evaluating the efficacy of LLMs for (ethical) hacking, executing benchmarks using multiple LLMs, and investigating their respective results. Our results show that GPT-4-turbo is well suited to exploit vulnerabilities (33-83% of vulnerabilities). GPT-3.5-turbo can abuse 16-50% of vulnerabilities, while local models, such as Llama3, can only exploit between 0 and 33% of the vulnerabilities. We analyze the impact of different context sizes, in-context learning, optional high-level guidance mechanisms, and memory management techniques. We discuss challenging areas for LLMs, including maintaining focus during testing, coping with errors, and finally comparing LLMs with human hackers. The current version of the LLM-guided privilege-escalation prototype can be found at https://github.com/ipa-labs/hackingBuddyGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google