VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models

要約

自己回帰視覚言語モデル (VLM) は、マルチモーダルなコンテキストで優れた少数ショット学習機能を示します。
最近、命令追従能力をさらに強化するために、マルチモーダル命令チューニングが提案されています。
ただし、命令チューニング中に自己回帰 VLM に対するバックドア攻撃によってもたらされる潜在的な脅威が明らかになりました。
攻撃者は、命令や画像にトリガーが埋め込まれた汚染されたサンプルを注入することでバックドアを埋め込み、事前定義されたトリガーによる被害者モデルの予測の悪意のある操作を可能にします。
それにもかかわらず、自己回帰 VLM のフリーズされたビジュアル エンコーダは、従来の画像トリガーの学習に制約を課します。
さらに、攻撃者は被害者モデルのパラメータやアーキテクチャにアクセスする際に制限に遭遇する可能性があります。
これらの課題に対処するために、私たちはマルチモーダル命令バックドア攻撃、つまり VL-Trojan を提案します。
私たちのアプローチは、分離およびクラスタリング戦略を通じて画像トリガーの学習を促進し、反復的な文字レベルのテキストトリガー生成方法によってブラックボックス攻撃の有効性を高めます。
私たちの攻撃は推論中にターゲット出力を誘導することに成功し、ASR のベースライン (+62.52\%) を大幅に上回りました。
さらに、さまざまなモデル スケールおよび数ショットのコンテキスト内推論シナリオにわたる堅牢性を実証します。

要約(オリジナル)

Autoregressive Visual Language Models (VLMs) showcase impressive few-shot learning capabilities in a multimodal context. Recently, multimodal instruction tuning has been proposed to further enhance instruction-following abilities. However, we uncover the potential threat posed by backdoor attacks on autoregressive VLMs during instruction tuning. Adversaries can implant a backdoor by injecting poisoned samples with triggers embedded in instructions or images, enabling malicious manipulation of the victim model’s predictions with predefined triggers. Nevertheless, the frozen visual encoder in autoregressive VLMs imposes constraints on the learning of conventional image triggers. Additionally, adversaries may encounter restrictions in accessing the parameters and architectures of the victim model. To address these challenges, we propose a multimodal instruction backdoor attack, namely VL-Trojan. Our approach facilitates image trigger learning through an isolating and clustering strategy and enhance black-box-attack efficacy via an iterative character-level text trigger generation method. Our attack successfully induces target outputs during inference, significantly surpassing baselines (+62.52\%) in ASR. Moreover, it demonstrates robustness across various model scales and few-shot in-context reasoning scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google