Demo: SGCode: A Flexible Prompt-Optimizing System for Secure Generation of Code

要約

このペーパーでは、大規模言語モデル (LLM) を使用して安全なコードを生成する柔軟なプロンプト最適化システムである SGCode を紹介します。
SGCode は、フロントエンドおよびバックエンド API からアクセスできる統合システム内の LLM と最近のプロンプト最適化アプローチを統合し、ユーザーが 1) 脆弱性のない安全なコードを生成し、2) セキュリティ分析を確認して共有し、3) を可能にします。
モデルとシステムのパフォーマンスに関する洞察を提供しながら、あるプロンプト最適化アプローチから別のプロンプト最適化アプローチに簡単に切り替えることができます。
PromSec を使用して AWS サーバー上の SGCode を実装しました。これは、LLM とセキュリティ ツールを軽量の敵対的生成グラフ ニューラル ネットワークと組み合わせて、生成されたコード内のセキュリティの脆弱性を検出して修正することでプロンプトを最適化するアプローチです。
広範な実験により、SGCode はモデルの有用性、安全なコード生成、システム コストの間のトレードオフについての洞察を得る公共ツールとして実用的であることが示されています。
SGCode は、プロンプト LLM と比較して限界コストしかかかりません。
SGCode は http://3.131.141.63:8501/ で入手できます。

要約(オリジナル)

This paper introduces SGCode, a flexible prompt-optimizing system to generate secure code with large language models (LLMs). SGCode integrates recent prompt-optimization approaches with LLMs in a unified system accessible through front-end and back-end APIs, enabling users to 1) generate secure code, which is free of vulnerabilities, 2) review and share security analysis, and 3) easily switch from one prompt optimization approach to another, while providing insights on model and system performance. We populated SGCode on an AWS server with PromSec, an approach that optimizes prompts by combining an LLM and security tools with a lightweight generative adversarial graph neural network to detect and fix security vulnerabilities in the generated code. Extensive experiments show that SGCode is practical as a public tool to gain insights into the trade-offs between model utility, secure code generation, and system cost. SGCode has only a marginal cost compared with prompting LLMs. SGCode is available at: http://3.131.141.63:8501/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google