Transfer Learning in Pre-Trained Large Language Models for Malware Detection Based on System Calls

要約

現在のサイバーセキュリティの状況では、通信システムや戦場管理システムなどの軍事機器を高度なサイバー攻撃から保護することが重要です。
マルウェアはステルス方式で脆弱性を悪用し、多くの場合、ソフトウェア シグネチャなどの従来の検出メカニズムを回避します。
脆弱性検出における ML/DL の応用は、文献で広く調査されています。
ただし、現在の ML/DL 脆弱性検出方法では、複雑な攻撃の背後にあるコンテキストと意図を理解するのが困難です。
大規模言語モデル (LLM) とシステム コール分析を統合することは、マルウェアの検出を強化するための有望なアプローチを提供します。
この研究では、LLM を活用してシステム コール データに基づいてマルウェアを分類する新しいフレームワークを紹介します。
このフレームワークは転移学習を使用して、事前トレーニングされた LLM をマルウェア検出に適応させます。
良性および悪意のあるシステム コールのデータセットで LLM を再トレーニングすることにより、マルウェア活動の兆候を検出するようにモデルが改良されます。
1TB を超えるシステム コールのデータセットを使用した実験では、BigBird や Longformer などのより大きなコンテキスト サイズのモデルが優れた精度と約 0.86 の F1 スコアを達成することが実証されました。
この結果は、検出率の向上におけるコンテキスト サイズの重要性を強調し、計算の複雑さとパフォーマンスの間のトレードオフを強調しています。
このアプローチは、一か八かの環境でのリアルタイム検出に大きな可能性を示し、進化するサイバー脅威に対する堅牢なソリューションを提供します。

要約(オリジナル)

In the current cybersecurity landscape, protecting military devices such as communication and battlefield management systems against sophisticated cyber attacks is crucial. Malware exploits vulnerabilities through stealth methods, often evading traditional detection mechanisms such as software signatures. The application of ML/DL in vulnerability detection has been extensively explored in the literature. However, current ML/DL vulnerability detection methods struggle with understanding the context and intent behind complex attacks. Integrating large language models (LLMs) with system call analysis offers a promising approach to enhance malware detection. This work presents a novel framework leveraging LLMs to classify malware based on system call data. The framework uses transfer learning to adapt pre-trained LLMs for malware detection. By retraining LLMs on a dataset of benign and malicious system calls, the models are refined to detect signs of malware activity. Experiments with a dataset of over 1TB of system calls demonstrate that models with larger context sizes, such as BigBird and Longformer, achieve superior accuracy and F1-Score of approximately 0.86. The results highlight the importance of context size in improving detection rates and underscore the trade-offs between computational complexity and performance. This approach shows significant potential for real-time detection in high-stakes environments, offering a robust solution to evolving cyber threats.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google