The Use of Large Language Models (LLM) for Cyber Threat Intelligence (CTI) in Cybercrime Forums

要約

大規模言語モデル (LLM) を使用して、サイバー犯罪フォーラムからのサイバー脅威インテリジェンス (CTI) データを分析できます。サイバー犯罪フォーラムには、新たなサイバー脅威に関する広範な情報と重要な議論が含まれています。
ただし、現在に至るまで、このような重要なタスクに対する LLM の精度と効率のレベルは十分に評価されていません。
したがって、この研究では、CTI 情報を抽出するために OpenAI GPT-3.5 ターボ モデル [8] に基づいて構築された LLM システムのパフォーマンスを評価します。
そのために、3 つのサイバー犯罪フォーラム (XSS、Exploit_in、RAMP) から 700 を超える毎日の会話のランダム サンプルが抽出され、LLM システムは会話を要約し、10 の重要な CTI 変数を予測するように指示されました。
組織や重要なインフラが標的にされており、人間の言葉による簡単な指示だけが必要です。
次に、2 人のコーダーが各会話をレビューし、LLM によって抽出された情報が正確かどうかを評価しました。
LLM システムは、平均精度スコア 96.23%、平均精度 90%、平均再現率 88.2% と良好なパフォーマンスを示しました。
LLM がストーリーと過去のイベントを区別できるようにする必要性や、プロンプト内の動詞の時制に注意する必要性など、モデルを強化するさまざまな方法が明らかになりました。
それにもかかわらず、この調査の結果は、サイバー脅威インテリジェンスに LLM を使用することの関連性を浮き彫りにしています。

要約(オリジナル)

Large language models (LLMs) can be used to analyze cyber threat intelligence (CTI) data from cybercrime forums, which contain extensive information and key discussions about emerging cyber threats. However, to date, the level of accuracy and efficiency of LLMs for such critical tasks has yet to be thoroughly evaluated. Hence, this study assesses the performance of an LLM system built on the OpenAI GPT-3.5-turbo model [8] to extract CTI information. To do so, a random sample of more than 700 daily conversations from three cybercrime forums – XSS, Exploit_in, and RAMP – was extracted, and the LLM system was instructed to summarize the conversations and predict 10 key CTI variables, such as whether a large organization and/or a critical infrastructure is being targeted, with only simple human-language instructions. Then, two coders reviewed each conversation and evaluated whether the information extracted by the LLM was accurate. The LLM system performed well, with an average accuracy score of 96.23%, an average precision of 90% and an average recall of 88.2%. Various ways to enhance the model were uncovered, such as the need to help the LLM distinguish between stories and past events, as well as being careful with verb tenses in prompts. Nevertheless, the results of this study highlight the relevance of using LLMs for cyber threat intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google