Adversarial Attacks on Data Attribution

要約

データ アトリビューションは、AI モデルの出力に対する個々のトレーニング データ ポイントの寄与を定量化することを目的としています。AI モデルは、トレーニング データの価値を測定し、データ プロバイダーを補償するために使用されています。
財務上の決定と補償メカニズムへの影響を考慮すると、データ帰属方法の敵対的な堅牢性に関して重大な疑問が生じます。
しかし、この問題に対処する体系的な研究はほとんどありません。
この研究では、敵対者の目標と能力に関する明確な仮定を備えた脅威モデルを詳しく説明し、データの帰属に関する原則に基づいた敵対的攻撃方法を提案することで、このギャップを埋めることを目指しています。
我々は、Shadow Attack と Outlier Attack という 2 つのそのような手法を紹介します。どちらも、操作されたデータセットを生成して、敵対的に報酬をつり上げます。
シャドウ攻撃は、AI アプリケーションのデータ分布に関する知識を活用し、メンバーシップ推論攻撃で一般的に使用される手法である「シャドウ トレーニング」を通じて敵対的な摂動を導き出します。
対照的に、Outlier Attack はデータ分布に関する知識をまったく前提とせず、ターゲット モデルの予測に対するブラック ボックス クエリのみに依存します。
これは、多くのデータ アトリビューション手法に存在する帰納的バイアス (外れ値のデータ ポイントが影響を与える可能性が高い) を利用し、敵対的な例を使用して操作されたデータセットを生成します。
経験的に、画像分類タスクとテキスト生成タスクでは、シャドウ攻撃はデータ属性に基づく報酬を少なくとも 200% 膨張させることができますが、異常値攻撃は 185% から最大 643% までの範囲の報酬インフレを達成します。

要約(オリジナル)

Data attribution aims to quantify the contribution of individual training data points to the outputs of an AI model, which has been used to measure the value of training data and compensate data providers. Given the impact on financial decisions and compensation mechanisms, a critical question arises concerning the adversarial robustness of data attribution methods. However, there has been little to no systematic research addressing this issue. In this work, we aim to bridge this gap by detailing a threat model with clear assumptions about the adversary’s goal and capabilities, and by proposing principled adversarial attack methods on data attribution. We present two such methods, Shadow Attack and Outlier Attack, both of which generate manipulated datasets to adversarially inflate the compensation. The Shadow Attack leverages knowledge about the data distribution in the AI applications, and derives adversarial perturbations through ‘shadow training’, a technique commonly used in membership inference attacks. In contrast, the Outlier Attack does not assume any knowledge about the data distribution and relies solely on black-box queries to the target model’s predictions. It exploits an inductive bias present in many data attribution methods – outlier data points are more likely to be influential – and employs adversarial examples to generate manipulated datasets. Empirically, in image classification and text generation tasks, the Shadow Attack can inflate the data-attribution-based compensation by at least 200%, while the Outlier Attack achieves compensation inflation ranging from 185% to as much as 643%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google