An Extensive Study on Adversarial Attack against Pre-trained Models of Code

要約

トランスフォーマーベースの事前トレーニング済みコード モデル (PTMC) は広く利用されており、多くのミッションクリティカルなアプリケーションで最先端のパフォーマンスを達成しています。
ただし、識別子の置換やコーディング スタイルの変換による敵対的な攻撃に対して脆弱になる可能性があり、精度が大幅に低下し、さらにセキュリティ上の懸念が生じる可能性があります。
PTMC の敵対的な例を生成するためにいくつかのアプローチが提案されていますが、特にさまざまなコード インテリジェンス タスクにおけるそのようなアプローチの有効性と効率性は十分に理解されていません。
このギャップを埋めるために、この研究では、有効性、効率、生成された例の品質という 3 つの観点から、5 つの最先端の敵対的攻撃アプローチを系統的に分析しています。
結果は、5 つのアプローチのどれもこれらすべての観点のバランスをとれていないことを示しています。
特に、攻撃の成功率が高いアプローチは時間がかかる傾向があります。
彼らが生成する敵対的なコードは自然性に欠けることが多く、またその逆も同様です。
この制限に対処するために、さまざまなコンテキストの下で識別子を混乱させることの影響を調査し、for ステートメントと if ステートメント内での識別子の置換が最も効果的であることを発見しました。
これらの発見に基づいて、さまざまなタスクに対してさまざまなタイプのステートメントに優先順位を付け、さらにビーム検索を利用して敵対的な例を生成する新しいアプローチを提案します。
評価結果は、生成された敵対的な例の自然さを維持しながら、有効性と効率の両方の点で最先端の ALERT よりも優れていることを示しています。

要約(オリジナル)

Transformer-based pre-trained models of code (PTMC) have been widely utilized and have achieved state-of-the-art performance in many mission-critical applications. However, they can be vulnerable to adversarial attacks through identifier substitution or coding style transformation, which can significantly degrade accuracy and may further incur security concerns. Although several approaches have been proposed to generate adversarial examples for PTMC, the effectiveness and efficiency of such approaches, especially on different code intelligence tasks, has not been well understood. To bridge this gap, this study systematically analyzes five state-of-the-art adversarial attack approaches from three perspectives: effectiveness, efficiency, and the quality of generated examples. The results show that none of the five approaches balances all these perspectives. Particularly, approaches with a high attack success rate tend to be time-consuming; the adversarial code they generate often lack naturalness, and vice versa. To address this limitation, we explore the impact of perturbing identifiers under different contexts and find that identifier substitution within for and if statements is the most effective. Based on these findings, we propose a new approach that prioritizes different types of statements for various tasks and further utilizes beam search to generate adversarial examples. Evaluation results show that it outperforms the state-of-the-art ALERT in terms of both effectiveness and efficiency while preserving the naturalness of the generated adversarial examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google