Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection

要約

大規模言語モデル (LLM) は、目覚ましい成功を収めているにもかかわらず、脆弱性検出などの応用タスクでは限界のある能力を示しています。
私たちは、脆弱性検出のためのさまざまなプロンプト戦略を調査し、この調査の一環として、合成データセットからの対照的なサンプルを使用して強化された、対照的な思考連鎖推論アプローチと脆弱性の自然言語記述を統合するプロンプト戦略を提案します。
私たちの研究は、自然言語による説明、対照的な推論、および合成例を包括的なプロンプト フレームワークに統合することにより、LLM が脆弱性を検出する可能性を強調しています。
私たちの結果は、このアプローチが脆弱性に対する LLM の理解を強化できることを示しています。
SVEN などの高品質の脆弱性検出データセットでは、プロンプト戦略により、精度、F1 スコア、ペアワイズ精度がそれぞれ 23%、11%、14% 向上します。

要約(オリジナル)

Despite their remarkable success, large language models (LLMs) have shown limited ability on applied tasks such as vulnerability detection. We investigate various prompting strategies for vulnerability detection and, as part of this exploration, propose a prompting strategy that integrates natural language descriptions of vulnerabilities with a contrastive chain-of-thought reasoning approach, augmented using contrastive samples from a synthetic dataset. Our study highlights the potential of LLMs to detect vulnerabilities by integrating natural language descriptions, contrastive reasoning, and synthetic examples into a comprehensive prompting framework. Our results show that this approach can enhance LLM understanding of vulnerabilities. On a high-quality vulnerability detection dataset such as SVEN, our prompting strategies can improve accuracies, F1-scores, and pairwise accuracies by 23%, 11%, and 14%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google