SCoPE: Evaluating LLMs for Software Vulnerability Detection

要約

近年、特に相互接続テクノロジーの台頭により、コードのセキュリティがますます重要になってきています。
ソフトウェア開発プロセスの初期段階で脆弱性を検出すると、多くのメリットが得られることが実証されています。
その結果、科学界はソース コードの脆弱性を自動検出するために機械学習を使用し始めました。
この作業では、コード関連タスク、特に C/C++ サブセットのモデルをトレーニングするために一般的に使用される CVEFixes データセットを調査し、改良します。
この目的のために、サイズを削減し、C/C++ 関数を正規化するために使用できる戦略的な手法で構成されるフレームワークであるソース コード処理エンジン (SCoPE) が提供されます。
SCoPE によって生成された出力は、新しいバージョンの CVEFixes の作成に使用されました。
この洗練されたデータセットは、ソフトウェアの脆弱性検出のために事前にトレーニングされた 3 つの LLM を微調整することで構成される、ツールのコード処理技術の有効性を評価するための機能表現分析に使用されました。
結果は、SCoPE が評価されたサブセット内で 905 個の重複を特定することに成功したことを示しています。
LLM の結果は、ソフトウェア脆弱性検出への適合性に関する文献と裏付けられており、最良のモデルは 53% の F1 スコアを達成しています。

要約(オリジナル)

In recent years, code security has become increasingly important, especially with the rise of interconnected technologies. Detecting vulnerabilities early in the software development process has demonstrated numerous benefits. Consequently, the scientific community started using machine learning for automated detection of source code vulnerabilities. This work explores and refines the CVEFixes dataset, which is commonly used to train models for code-related tasks, specifically the C/C++ subset. To this purpose, the Source Code Processing Engine (SCoPE), a framework composed of strategized techniques that can be used to reduce the size and normalize C/C++ functions is presented. The output generated by SCoPE was used to create a new version of CVEFixes. This refined dataset was then employed in a feature representation analysis to assess the effectiveness of the tool’s code processing techniques, consisting of fine-tuning three pre-trained LLMs for software vulnerability detection. The results show that SCoPE successfully helped to identify 905 duplicates within the evaluated subset. The LLM results corroborate with the literature regarding their suitability for software vulnerability detection, with the best model achieving 53% F1-score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google