LLMs in Web Development: Evaluating LLM-Generated PHP Code Unveiling Vulnerabilities and Limitations

要約

この調査では、GPT-4 で生成された 2,500 の PHP Web サイトを分析し、大規模言語モデルによって生成された Web アプリケーション コードのセキュリティを評価しています。
これらは Docker コンテナにデプロイされ、Burp Suite のアクティブ スキャン、静的分析、手動レビューのハイブリッド アプローチを使用して脆弱性がテストされました。
私たちの調査は、GPT-4 で生成された PHP コードにおける安全でないファイルのアップロード、SQL インジェクション、保存された XSS、および反映された XSS を特定することに重点を置いています。
この分析では、潜在的なセキュリティ リスクと、そのようなコードを現実のシナリオに導入する場合の影響を明らかにします。
全体として、私たちの分析では 2,440 個の脆弱なパラメーターが見つかりました。
Burp’s Scan によると、サイトの 11.56% が直接侵害される可能性があります。
静的スキャン結果を加えると、26% に Web インタラクションを通じて悪用される可能性のある脆弱性が少なくとも 1 つありました。
ファイルのアップロード機能など、特定のコーディング シナリオは 78% の確率で安全ではなく、ソフトウェアの安全性とセキュリティに対する重大なリスクを浮き彫りにしています。
さらなる研究をサポートするために、各サンプルのソース コードと詳細な脆弱性記録を公開しました。
この研究は、生成 AI テクノロジーがソフトウェア開発に使用される場合、徹底的なテストと評価が非常に必要であることを強調しています。

要約(オリジナル)

This study evaluates the security of web application code generated by Large Language Models, analyzing 2,500 GPT-4 generated PHP websites. These were deployed in Docker containers and tested for vulnerabilities using a hybrid approach of Burp Suite active scanning, static analysis, and manual review. Our investigation focuses on identifying Insecure File Upload, SQL Injection, Stored XSS, and Reflected XSS in GPT-4 generated PHP code. This analysis highlights potential security risks and the implications of deploying such code in real-world scenarios. Overall, our analysis found 2,440 vulnerable parameters. According to Burp’s Scan, 11.56% of the sites can be straight out compromised. Adding static scan results, 26% had at least one vulnerability that can be exploited through web interaction. Certain coding scenarios, like file upload functionality, are insecure 78% of the time, underscoring significant risks to software safety and security. To support further research, we have made the source codes and a detailed vulnerability record for each sample publicly available. This study emphasizes the crucial need for thorough testing and evaluation if generative AI technologies are used in software development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google