ChatGPT’s Potential in Cryptography Misuse Detection: A Comparative Analysis with Static Analysis Tools

要約

暗号化 API を正しく採用することは主流の開発者にとって困難であり、多くの場合 API の悪用が広範囲に及ぶ結果になります。
一方、暗号悪用検出器は一貫性のないパフォーマンスを示しており、ほとんどの開発者は依然としてアクセスできない状態にあります。
私たちは、ChatGPT が暗号化の悪用をどの程度検出できるかを調査し、そのパフォーマンスを最先端の静的分析ツールのパフォーマンスと比較しました。
主に CryptoAPI-Bench ベンチマークに基づいた私たちの調査では、ChatGPT が暗号化 API の誤用を特定するのに効果的であり、迅速なエンジニアリングを使用することで、主要な静的暗号化の誤用検出器を上回るパフォーマンスを発揮できることが実証されました。

要約(オリジナル)

The correct adoption of cryptography APIs is challenging for mainstream developers, often resulting in widespread API misuse. Meanwhile, cryptography misuse detectors have demonstrated inconsistent performance and remain largely inaccessible to most developers. We investigated the extent to which ChatGPT can detect cryptography misuses and compared its performance with that of the state-of-the-art static analysis tools. Our investigation, mainly based on the CryptoAPI-Bench benchmark, demonstrated that ChatGPT is effective in identifying cryptography API misuses, and with the use of prompt engineering, it can even outperform leading static cryptography misuse detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google