Large Language Models and Code Security: A Systematic Literature Review

要約

大規模言語モデル (LLM) は、脆弱性の検出や修正などのセキュリティ関連タスクを含む、さまざまなプログラミング タスクを自動化するための強力なツールとして登場しました。
LLM には有望な機能があるにもかかわらず、既存のコードを作成または変更する必要がある場合、プログラマーが知らない脆弱性が発生する可能性があります。
コードを分析する際、明らかな脆弱性を見逃したり、存在しない脆弱性を示したりする可能性があります。
この Systematic Literature Review (SLR) では、コード関連のさまざまなタスクに LLM を使用する場合のセキュリティ上の利点と潜在的な欠点の両方を調査することを目的としています。
特に、最初に、LLM をコード生成に使用した場合に、LLM によって導入される可能性のある脆弱性の種類に焦点を当てます。
次に、特定のコード内の脆弱性を検出して修正する LLM の機能と、選択したプロンプト戦略がこれら 2 つのタスクのパフォーマンスにどのような影響を与えるかを分析します。
最後に、LLM に対するデータポイズニング攻撃が前述のタスクのパフォーマンスにどのような影響を与える可能性があるかについて、詳細な分析を提供します。

要約(オリジナル)

Large Language Models (LLMs) have emerged as powerful tools for automating various programming tasks, including security-related ones, such as detecting and fixing vulnerabilities. Despite their promising capabilities, when required to produce or modify pre-existing code, LLMs could introduce vulnerabilities unbeknown to the programmer. When analyzing code, they could miss clear vulnerabilities or signal nonexistent ones. In this Systematic Literature Review (SLR), we aim to investigate both the security benefits and potential drawbacks of using LLMs for a variety of code-related tasks. In particular, first we focus on the types of vulnerabilities that could be introduced by LLMs, when used for producing code. Second, we analyze the capabilities of LLMs to detect and fix vulnerabilities, in any given code, and how the prompting strategy of choice impacts their performance in these two tasks. Last, we provide an in-depth analysis on how data poisoning attacks on LLMs can impact performance in the aforementioned tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google