The Use of Large Language Models (LLM) for Cyber Threat Intelligence (CTI) in Cybercrime Forums

要約

大規模言語モデル (LLM) を使用して、サイバー犯罪フォーラムからのサイバー脅威インテリジェンス (CTI) データを分析できます。サイバー犯罪フォーラムには、新たなサイバー脅威に関する広範な情報と重要な議論が含まれています。
ただし、現在に至るまで、このような重要なタスクに対する LLM の精度と効率のレベルは十分に評価されていません。
したがって、この研究では、CTI 情報を抽出するために OpenAI GPT-3.5 ターボ モデル [7] に基づいて構築された LLM システムの精度を評価します。
そのために、XSS、Exploit_in、RAMP の 3 つのサイバー犯罪フォーラムから毎日の会話 500 件のランダム サンプルが抽出され、LLM システムは会話を要約して 10 個の主要な CTI 変数をコード化するように指示されました。
/または重要なインフラが標的にされている。
次に、2 人のコーダーが各会話をレビューし、LLM によって抽出された情報が正確かどうかを評価しました。
LLM システムは驚くほど優れたパフォーマンスを示し、平均精度スコアは 98% でした。
LLM がストーリーと過去のイベントを区別できるようにする必要性や、プロンプト内の動詞の時制に注意する必要性など、モデルを強化するさまざまな方法が明らかになりました。
それにもかかわらず、この調査の結果は、サイバー脅威インテリジェンスに LLM を使用することの効率性と関連性を浮き彫りにしています。

要約(オリジナル)

Large language models (LLMs) can be used to analyze cyber threat intelligence (CTI) data from cybercrime forums, which contain extensive information and key discussions about emerging cyber threats. However, to date, the level of accuracy and efficiency of LLMs for such critical tasks has yet to be thoroughly evaluated. Hence, this study assesses the accuracy of an LLM system built on the OpenAI GPT-3.5-turbo model [7] to extract CTI information. To do so, a random sample of 500 daily conversations from three cybercrime forums, XSS, Exploit_in, and RAMP, was extracted, and the LLM system was instructed to summarize the conversations and code 10 key CTI variables, such as whether a large organization and/or a critical infrastructure is being targeted. Then, two coders reviewed each conversation and evaluated whether the information extracted by the LLM was accurate. The LLM system performed strikingly well, with an average accuracy score of 98%. Various ways to enhance the model were uncovered, such as the need to help the LLM distinguish between stories and past events, as well as being careful with verb tenses in prompts. Nevertheless, the results of this study highlight the efficiency and relevance of using LLMs for cyber threat intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google