Poisoning Programs by Un-Repairing Code: Security Concerns of AI-generated Code

要約

AI ベースのコード ジェネレーターは、開発者が自然言語 (NL) から始めてソフトウェアを作成するのを支援するという基本的な役割を獲得しました。
ただし、これらの大規模な言語モデルは、信頼性の低いオンライン ソース (GitHub、Hugging Face など) から収集された大量のデータに基づいてトレーニングされるため、AI モデルは、攻撃者が
少量の毒、つまり巧妙に作られた悪意のあるサンプルが含まれています。
このポジションペーパーでは、脆弱なコードの生成を引き起こす新たなデータポイズニング攻撃を特定することで、AI コードジェネレーターのセキュリティに取り組みます。
次に、これらの攻撃がコード生成のための最先端のモデルにどのような影響を与えるかについて広範な評価を考案します。
最後に、この脅威を克服するための潜在的な解決策について説明します。

要約(オリジナル)

AI-based code generators have gained a fundamental role in assisting developers in writing software starting from natural language (NL). However, since these large language models are trained on massive volumes of data collected from unreliable online sources (e.g., GitHub, Hugging Face), AI models become an easy target for data poisoning attacks, in which an attacker corrupts the training data by injecting a small amount of poison into it, i.e., astutely crafted malicious samples. In this position paper, we address the security of AI code generators by identifying a novel data poisoning attack that results in the generation of vulnerable code. Next, we devise an extensive evaluation of how these attacks impact state-of-the-art models for code generation. Lastly, we discuss potential solutions to overcome this threat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google