SoK: A Systems Perspective on Compound AI Threats and Countermeasures

要約

企業全体で使用される大規模言語モデル (LLM) は、多くの場合、独自のモデルを使用し、機密性の高い入力とデータを操作します。
これまでの研究で特定された広範囲にわたる攻撃ベクトルは、トレーニングや推論に使用されるさまざまなソフトウェアおよびハードウェア コンポーネントを標的としており、機密性と整合性のポリシーを強制することが非常に困難になっています。
複数の大規模言語モデル (LLM) を統合する複合 AI 推論パイプラインの構築に向けて進むにつれて、攻撃対象領域は大幅に拡大します。
攻撃者は現在、AI アルゴリズムだけでなく、これらのシステムに関連するソフトウェアおよびハードウェア コンポーネントにも焦点を当てています。
現在の研究ではこれらの要素を個別に調査することが多いですが、クロスレイヤー攻撃の観察を組み合わせることで、脅威モデルに関する最小限の想定で強力なエンドツーエンド攻撃を可能にできることがわかりました。
各層に存在する攻撃の数が膨大であることを考えると、各層のさまざまな攻撃ベクトルを全体的かつ体系的に理解する必要があります。
この SoK では、複合 AI システムに適用可能なさまざまなソフトウェアおよびハードウェア攻撃について説明し、複数の攻撃メカニズムを組み合わせることで、分離された攻撃に必要な脅威モデルの想定をどのように軽減できるかを示します。
次に、Mitre Att&ck フレームワークに沿って ML 攻撃を体系化し、脅威モデルに基づいて各攻撃を適切に位置づけます。
最後に、ソフトウェア層とハードウェア層の両方に対する既存の対策の概要を説明し、複合 AI システムの安全で高性能な展開を可能にする包括的な防御戦略の必要性について説明します。

要約(オリジナル)

Large language models (LLMs) used across enterprises often use proprietary models and operate on sensitive inputs and data. The wide range of attack vectors identified in prior research – targeting various software and hardware components used in training and inference – makes it extremely challenging to enforce confidentiality and integrity policies. As we advance towards constructing compound AI inference pipelines that integrate multiple large language models (LLMs), the attack surfaces expand significantly. Attackers now focus on the AI algorithms as well as the software and hardware components associated with these systems. While current research often examines these elements in isolation, we find that combining cross-layer attack observations can enable powerful end-to-end attacks with minimal assumptions about the threat model. Given, the sheer number of existing attacks at each layer, we need a holistic and systemized understanding of different attack vectors at each layer. This SoK discusses different software and hardware attacks applicable to compound AI systems and demonstrates how combining multiple attack mechanisms can reduce the threat model assumptions required for an isolated attack. Next, we systematize the ML attacks in lines with the Mitre Att&ck framework to better position each attack based on the threat model. Finally, we outline the existing countermeasures for both software and hardware layers and discuss the necessity of a comprehensive defense strategy to enable the secure and high-performance deployment of compound AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google