CodeAttack: Code-Based Adversarial Attacks for Pre-trained Programming Language Models

要約

タイトル：学習済みプログラミング言語モデルに対するCodeAttack：コードベースの敵対的攻撃
要約：
– 学習済みのプログラミング言語（PL）モデル（CodeT5、CodeBERT、GraphCodeBERTなど）は、コード理解およびコード生成に関わるソフトウェアエンジニアリングのタスクを自動化する可能性がある。
– ただし、これらのモデルはコードの自然チャネルで動作するため、主に人間の理解に基づくものである。したがって、入力の変更に対して堅牢性が不十分であり、自然チャネルにおける敵対的攻撃の可能性がある。
– CodeAttackは、コード構造を使用して効果的で効率的で不可視の敵対的なコードサンプルを生成する単純かつ効果的なブラックボックス攻撃モデルであり、最新のPLモデルがコード特有の敵対的攻撃に脆弱であることを示している。
– CodeAttackの移植性を、異なるプログラミング言語を使った複数のコード-コード（翻訳および修正）およびコード-NL（要約）タスクで評価する。CodeAttackは最も効果的であり、敵対的なNLP攻撃モデルよりも効率的、不可視、一貫しており、滑らかである。
– コードは https://github.com/reddy-lab-code-research/CodeAttack で入手可能。

要約(オリジナル)

Pre-trained programming language (PL) models (such as CodeT5, CodeBERT, GraphCodeBERT, etc.,) have the potential to automate software engineering tasks involving code understanding and code generation. However, these models operate in the natural channel of code, i.e., they are primarily concerned with the human understanding of the code. They are not robust to changes in the input and thus, are potentially susceptible to adversarial attacks in the natural channel. We propose, CodeAttack, a simple yet effective black-box attack model that uses code structure to generate effective, efficient, and imperceptible adversarial code samples and demonstrates the vulnerabilities of the state-of-the-art PL models to code-specific adversarial attacks. We evaluate the transferability of CodeAttack on several code-code (translation and repair) and code-NL (summarization) tasks across different programming languages. CodeAttack outperforms state-of-the-art adversarial NLP attack models to achieve the best overall drop in performance while being more efficient, imperceptible, consistent, and fluent. The code can be found at https://github.com/reddy-lab-code-research/CodeAttack.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI