Plug and Pray: Exploiting off-the-shelf components of Multi-Modal Models

要約

大規模言語モデル (LLM) に追加のモダリティ (ビジョンなど) を組み込むことの急速な成長と人気の高まりにより、重大なセキュリティ上の懸念が生じています。
このモダリティの拡大は、家にさらにドアを追加することに似ており、意図せずに敵対的な攻撃のための複数のアクセス ポイントを作成します。
この論文では、敵対的埋め込み空間攻撃を導入することで、マルチモーダル システムに存在する脆弱性を強調します。この脆弱性は、事前にトレーニングされたパブリック エンコーダなどの既製のコンポーネントをプラグ アンド プレイ方式でシステムに組み込むことに起因します。
既存の研究とは対照的に、私たちのアプローチはマルチモーダルシステムの重みやパラメータへのアクセスを必要とせず、代わりにそのような事前訓練されたエンコーダの未調査の巨大な埋め込み空間に依存します。
私たちが提案する埋め込み空間攻撃には、これらの事前トレーニング済みコンポーネントの広範な埋め込み空間の危険な領域またはターゲット領域内に存在する入力画像を探すことが含まれます。
これらの細工された敵対的イメージは、「コンテキスト汚染」と「隠れプロンプト インジェクション」という 2 つの大きな脅威をもたらします。どちらも、LLaVA のようなマルチモーダル モデルを侵害し、関連する言語モデルの動作を完全に変更する可能性があります。
私たちの調査結果は、堅牢なセキュリティを確保するためにプラグアンドプレイ方式でシステムに組み込む前に、基盤となるコンポーネント、特に事前トレーニングされたエンコーダを包括的に検査する必要があることを強調しています。

要約(オリジナル)

The rapid growth and increasing popularity of incorporating additional modalities (e.g., vision) into large language models (LLMs) has raised significant security concerns. This expansion of modality, akin to adding more doors to a house, unintentionally creates multiple access points for adversarial attacks. In this paper, by introducing adversarial embedding space attacks, we emphasize the vulnerabilities present in multi-modal systems that originate from incorporating off-the-shelf components like public pre-trained encoders in a plug-and-play manner into these systems. In contrast to existing work, our approach does not require access to the multi-modal system’s weights or parameters but instead relies on the huge under-explored embedding space of such pre-trained encoders. Our proposed embedding space attacks involve seeking input images that reside within the dangerous or targeted regions of the extensive embedding space of these pre-trained components. These crafted adversarial images pose two major threats: ‘Context Contamination’ and ‘Hidden Prompt Injection’-both of which can compromise multi-modal models like LLaVA and fully change the behavior of the associated language model. Our findings emphasize the need for a comprehensive examination of the underlying components, particularly pre-trained encoders, before incorporating them into systems in a plug-and-play manner to ensure robust security.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google