Advancing TTP Analysis: Harnessing the Power of Encoder-Only and Decoder-Only Language Models with Retrieval Augmented Generation

要約

戦術、技術、手順 (TTP) は、攻撃者が脆弱性を悪用するために使用する方法を概説します。
MITRE ATT&CK フレームワークにおける TTP の解釈は、推定される専門知識、複雑な依存関係、および固有のあいまいさのため、サイバーセキュリティ専門家にとって困難な場合があります。
一方、大規模言語モデル (LLM) の進歩により、サイバーセキュリティ運用における LLM の使用を検討する研究が最近急増しています。
このため、エンコーダ専用 (RoBERTa など) およびデコーダ専用 (GPT-3.5 など) の LLM が TTP をどの程度理解して要約し、サイバー攻撃手順の意図された目的 (つまり戦術) をアナリストに知らせることができるかという疑問が生じます。
最先端の LLM は、不正確な情報を提供することで幻覚を起こしやすいことがわかっており、サイバーセキュリティなどの重要な領域では問題となっています。
したがって、我々は、デコーダ専用 LLM の各サイバー攻撃手順に関連するコンテキストを (微調整なしで) 抽出するために、検索拡張生成 (RAG) 技術の使用を提案します。
さらに、このようなアプローチをエンコーダ専用 LLM の教師あり微調整 (SFT) と対比します。
私たちの結果は、デコーダ専用 LLM (つまり、事前にトレーニングされた知識) の直接使用とエンコーダ専用 LLM の SFT の両方が、サイバー攻撃手順の不正確な解釈を提供することを明らかにしました。
RAG をデコーダ専用 LLM に使用すると、特に直接関連するコンテキストが見つかった場合に、大幅な改善が見られます。
この研究では、TTP を解釈する際に LLM に RAG を使用する場合の制限と機能についてさらに洞察が得られます。

要約(オリジナル)

Tactics, Techniques, and Procedures (TTPs) outline the methods attackers use to exploit vulnerabilities. The interpretation of TTPs in the MITRE ATT&CK framework can be challenging for cybersecurity practitioners due to presumed expertise, complex dependencies, and inherent ambiguity. Meanwhile, advancements with Large Language Models (LLMs) have led to recent surge in studies exploring its uses in cybersecurity operations. This leads us to question how well encoder-only (e.g., RoBERTa) and decoder-only (e.g., GPT-3.5) LLMs can comprehend and summarize TTPs to inform analysts of the intended purposes (i.e., tactics) of a cyberattack procedure. The state-of-the-art LLMs have shown to be prone to hallucination by providing inaccurate information, which is problematic in critical domains like cybersecurity. Therefore, we propose the use of Retrieval Augmented Generation (RAG) techniques to extract relevant contexts for each cyberattack procedure for decoder-only LLMs (without fine-tuning). We further contrast such approach against supervised fine-tuning (SFT) of encoder-only LLMs. Our results reveal that both the direct-use of decoder-only LLMs (i.e., its pre-trained knowledge) and the SFT of encoder-only LLMs offer inaccurate interpretation of cyberattack procedures. Significant improvements are shown when RAG is used for decoder-only LLMs, particularly when directly relevant context is found. This study further sheds insights on the limitations and capabilities of using RAG for LLMs in interpreting TTPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google