AICAttack: Adversarial Image Captioning Attack with Attention-Based Optimization

要約

深層学習研究の最近の進歩により、コンピューター ビジョン (CV) と自然言語処理 (NLP) の多くのタスクにわたって目覚ましい成果が示されています。
CV と NLP の交差点には画像キャプションの問題があり、敵対的攻撃に対する関連モデルの堅牢性は十分に研究されていません。
この論文では、画像上の微妙な摂動を通じて画像キャプション モデルを攻撃するように設計された、AICアタック (注意ベースの画像キャプション攻撃) と呼ばれる新しい敵対的攻撃戦略を紹介します。
ブラックボックス攻撃シナリオ内で動作するこのアルゴリズムは、ターゲット モデルのアーキテクチャ、パラメーター、または勾配情報へのアクセスを必要としません。
攻撃に最適なピクセルを特定する注意ベースの候補選択メカニズムを導入し、続いてピクセルの RGB 値を混乱させるための Differential Evolution (DE) を導入します。
私たちは、複数の被害者モデルを使用したベンチマーク データセットに対する広範な実験を通じて、AIC Attack の有効性を実証します。
実験結果は、出力内の単語のアライメントとセマンティクスを効果的に分散することで、私たちの方法が現在の最先端の技術を超えていることを示しています。

要約(オリジナル)

Recent advances in deep learning research have shown remarkable achievements across many tasks in computer vision (CV) and natural language processing (NLP). At the intersection of CV and NLP is the problem of image captioning, where the related models’ robustness against adversarial attacks has not been well studied. In this paper, we present a novel adversarial attack strategy, which we call AICAttack (Attention-based Image Captioning Attack), designed to attack image captioning models through subtle perturbations on images. Operating within a black-box attack scenario, our algorithm requires no access to the target model’s architecture, parameters, or gradient information. We introduce an attention-based candidate selection mechanism that identifies the optimal pixels to attack, followed by Differential Evolution (DE) for perturbing pixels’ RGB values. We demonstrate AICAttack’s effectiveness through extensive experiments on benchmark datasets with multiple victim models. The experimental results demonstrate that our method surpasses current leading-edge techniques by effectively distributing the alignment and semantics of words in the output.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google