While GitHub Copilot Excels at Coding, Does It Ensure Responsible Output?

要約

大規模言語モデル (LLM) の急速な開発により、コード補完機能が大幅に進化し、新世代の LLM ベースのコード補完ツール (LCCT) が誕生しました。
汎用 LLM とは異なり、これらのツールは独自のワークフローを備えており、複数の情報ソースを入力として統合し、自然言語対話よりもコードの提案を優先するため、セキュリティ上の明確な課題が生じます。
さらに、LCCT はトレーニングに独自のコード データセットに依存することが多く、機密データが漏洩する可能性についての懸念が生じています。
この論文では、LCCT のこれらの独特な特性を利用して、ジェイルブレイク攻撃とトレーニング データ抽出攻撃という 2 つの重要なセキュリティ リスクに対する標的型攻撃手法を開発します。
私たちの実験結果では、GitHub Copilot での脱獄攻撃の成功率 99.4%、Amazon Q での成功率 46.3% など、LCCT 内の重大な脆弱性が明らかになりました。さらに、GitHub Copilot から 54 件の実際の電子メール アドレスと 314 件の電子メール アドレスを含む機密ユーザー データを抽出することに成功しました。
GitHub ユーザー名に関連付けられた物理アドレス。
私たちの調査では、これらのコードベースの攻撃手法が GPT シリーズなどの汎用 LLM に対して有効であることも実証されており、最新の LLM によるコードの処理における広範なセキュリティの不整合が浮き彫りになっています。
これらの調査結果は、LCCT に関連するセキュリティ上の重大な課題を強調し、LCCT のセキュリティ フレームワークを強化するための重要な方向性を示唆しています。
私たちの調査によるコード例と攻撃サンプルは、https://github.com/Sensente/Security- Attacks-on-LCCTs で提供されています。

要約(オリジナル)

The rapid development of large language models (LLMs) has significantly advanced code completion capabilities, giving rise to a new generation of LLM-based Code Completion Tools (LCCTs). Unlike general-purpose LLMs, these tools possess unique workflows, integrating multiple information sources as input and prioritizing code suggestions over natural language interaction, which introduces distinct security challenges. Additionally, LCCTs often rely on proprietary code datasets for training, raising concerns about the potential exposure of sensitive data. This paper exploits these distinct characteristics of LCCTs to develop targeted attack methodologies on two critical security risks: jailbreaking and training data extraction attacks. Our experimental results expose significant vulnerabilities within LCCTs, including a 99.4% success rate in jailbreaking attacks on GitHub Copilot and a 46.3% success rate on Amazon Q. Furthermore, We successfully extracted sensitive user data from GitHub Copilot, including 54 real email addresses and 314 physical addresses associated with GitHub usernames. Our study also demonstrates that these code-based attack methods are effective against general-purpose LLMs, such as the GPT series, highlighting a broader security misalignment in the handling of code by modern LLMs. These findings underscore critical security challenges associated with LCCTs and suggest essential directions for strengthening their security frameworks. The example code and attack samples from our research are provided at https://github.com/Sensente/Security-Attacks-on-LCCTs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google