Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning Attacks

要約

AI ベースのコード ジェネレーターは、開発者が自然言語 (NL) から始めてソフトウェアを作成するのを支援する上で極めて重要になっています。
ただし、これらは、多くの場合、サニタイズされていないオンライン ソース (GitHub、HuggingFace など) から収集された大量のデータに基づいてトレーニングされます。
その結果、AI モデルはデータ ポイズニング、つまり、悪意のあるサンプルをトレーニング データに挿入して脆弱なコードを生成する攻撃の簡単なターゲットになります。
この脅威に対処するために、この研究では、標的を絞ったデータ ポイズニング戦略を考案することにより、AI コード ジェネレーターのセキュリティを調査しています。
セキュリティの脆弱性を含むコードを増加させて注入することでトレーニング データを汚染し、コード生成用のさまざまな最先端モデルで攻撃の成功を評価します。
私たちの調査では、AI コード ジェネレーターはたとえ少量の毒に対しても脆弱であることが示されています。
特に、攻撃の成功はモデルのアーキテクチャとポイズニング率に大きく依存しますが、脆弱性の種類には影響されません。
さらに、この攻撃は事前トレーニングされたモデルによって生成されたコードの正確性に影響を与えないため、検出するのは困難です。
最後に、私たちの取り組みは、この脅威を理解し、潜在的に軽減するための実践的な洞察を提供します。

要約(オリジナル)

AI-based code generators have become pivotal in assisting developers in writing software starting from natural language (NL). However, they are trained on large amounts of data, often collected from unsanitized online sources (e.g., GitHub, HuggingFace). As a consequence, AI models become an easy target for data poisoning, i.e., an attack that injects malicious samples into the training data to generate vulnerable code. To address this threat, this work investigates the security of AI code generators by devising a targeted data poisoning strategy. We poison the training data by injecting increasing amounts of code containing security vulnerabilities and assess the attack’s success on different state-of-the-art models for code generation. Our study shows that AI code generators are vulnerable to even a small amount of poison. Notably, the attack success strongly depends on the model architecture and poisoning rate, whereas it is not influenced by the type of vulnerabilities. Moreover, since the attack does not impact the correctness of code generated by pre-trained models, it is hard to detect. Lastly, our work offers practical insights into understanding and potentially mitigating this threat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google