Using ChatGPT as a Static Application Security Testing Tool

要約

近年、人工知能は生活のほぼあらゆる面で目覚ましい発展を遂げています。
最も適用可能な分野の 1 つはセキュリティ コードのレビューであり、AI ベースのツールやアプローチが多数提案されています。
ChatGPTは、指示への追従性や応答性の高さが目覚ましく、近年大きな注目を集めています。
自然言語とコードの類似点に関して、この論文では、Python ソース コードの脆弱性検出に ChatGPT を使用する実現可能性を研究します。
この目標に向けて、脆弱なデータとともに適切なプロンプトを ChatGPT にフィードし、2 つのデータセットでの結果を、広く使用されている 3 つの静的アプリケーション セキュリティ テスト ツール (Bandit、Semgrep、SonarQube) の結果と比較します。
ChatGPT を使用してさまざまな種類の実験を実装しました。その結果、ChatGPT は偽陽性率と偽陰性率を削減し、Python ソース コードの脆弱性検出に使用できる可能性があることが示されました。

要約(オリジナル)

In recent years, artificial intelligence has had a conspicuous growth in almost every aspect of life. One of the most applicable areas is security code review, in which a lot of AI-based tools and approaches have been proposed. Recently, ChatGPT has caught a huge amount of attention with its remarkable performance in following instructions and providing a detailed response. Regarding the similarities between natural language and code, in this paper, we study the feasibility of using ChatGPT for vulnerability detection in Python source code. Toward this goal, we feed an appropriate prompt along with vulnerable data to ChatGPT and compare its results on two datasets with the results of three widely used Static Application Security Testing tools (Bandit, Semgrep and SonarQube). We implement different kinds of experiments with ChatGPT and the results indicate that ChatGPT reduces the false positive and false negative rates and has the potential to be used for Python source code vulnerability detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google