Using Large Language Models for Cybersecurity Capture-The-Flag Challenges and Certification Questions

要約

サイバーセキュリティの評価である Capture-The-Flag (CTF) 演習では、参加者がシステムの脆弱性を悪用してテキスト文字列または「フラグ」を見つけます。
大規模言語モデル (LLM) は、テキストを理解して生成するために膨大な量の単語でトレーニングされた自然言語モデルです。
彼らは多くの CTF チャレンジで好成績を収めることができます。
このような LLM は学生が無料で利用できます。
教室での CTF 演習の文脈では、これは学術的誠実性についての懸念を引き起こします。
教育者は、生成 AI 支援に対応するために教え方を変更する LLM の機能を理解する必要があります。
この調査では、特に CTF の課題と疑問の領域における LLM の有効性を調査します。
ここでは、OpenAI ChatGPT、Google Bard、Microsoft Bing の 3 つの人気のある LLM を評価します。
まず、さまざまな難易度の 5 つのシスコ認定資格について、LLM の質問応答パフォーマンスを評価します。
次に、CTF の課題を解決する際の LLM の能力を定性的に研究し、その限界を理解します。
5 種類の CTF 課題すべてにおける 7 つのテスト ケースに対して LLM を使用した経験について報告します。
さらに、脱獄プロンプトがどのように LLM の倫理的保護手段をバイパスして破るかを示します。
この文書は、CTF 演習に対する LLM の影響とその影響について議論して締めくくられています。

要約(オリジナル)

The assessment of cybersecurity Capture-The-Flag (CTF) exercises involves participants finding text strings or “flags” by exploiting system vulnerabilities. Large Language Models (LLMs) are natural-language models trained on vast amounts of words to understand and generate text; they can perform well on many CTF challenges. Such LLMs are freely available to students. In the context of CTF exercises in the classroom, this raises concerns about academic integrity. Educators must understand LLMs’ capabilities to modify their teaching to accommodate generative AI assistance. This research investigates the effectiveness of LLMs, particularly in the realm of CTF challenges and questions. Here we evaluate three popular LLMs, OpenAI ChatGPT, Google Bard, and Microsoft Bing. First, we assess the LLMs’ question-answering performance on five Cisco certifications with varying difficulty levels. Next, we qualitatively study the LLMs’ abilities in solving CTF challenges to understand their limitations. We report on the experience of using the LLMs for seven test cases in all five types of CTF challenges. In addition, we demonstrate how jailbreak prompts can bypass and break LLMs’ ethical safeguards. The paper concludes by discussing LLM’s impact on CTF exercises and its implications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google