On the Impact of Uncertainty and Calibration on Likelihood-Ratio Membership Inference Attacks

要約

メンバーシップ推論攻撃 (MIA) では、攻撃者は一般的な機械学習モデルが示す過信を利用して、特定のデータ ポイントがターゲット モデルのトレーニングに使用されたかどうかを判断します。
この論文では、真のデータ生成プロセスにおける偶然の不確実性の影響の調査を可能にする情報理論的枠組み内で最先端の尤度比攻撃 (LiRA) のパフォーマンスを分析します。
限られたトレーニング データ セットとターゲット モデルのキャリブレーション レベルによって引き起こされる不確実性。
攻撃者がターゲット モデルから受け取る情報量が減少するフィードバックを受け取る 3 つの異なる設定を比較します。1 つは出力確率ベクトルが解放される信頼ベクトル (CV) 開示です。
真のラベル信頼性 (TLC) 開示。真のラベルに割り当てられた確率のみがモデルによって利用可能になります。
決定セット（DS）の開示では、適応予測セットが等角予測と同様に生成されます。
私たちは、MIA の有効性に対する不確実性と校正の影響についての洞察を提供することを目的として、MIA 敵対者の利点の限界を導き出します。
シミュレーション結果は、導出された分析限界が MIA の有効性を適切に予測することを示しています。

要約(オリジナル)

In a membership inference attack (MIA), an attacker exploits the overconfidence exhibited by typical machine learning models to determine whether a specific data point was used to train a target model. In this paper, we analyze the performance of the state-of-the-art likelihood ratio attack (LiRA) within an information-theoretical framework that allows the investigation of the impact of the aleatoric uncertainty in the true data generation process, of the epistemic uncertainty caused by a limited training data set, and of the calibration level of the target model. We compare three different settings, in which the attacker receives decreasingly informative feedback from the target model: confidence vector (CV) disclosure, in which the output probability vector is released; true label confidence (TLC) disclosure, in which only the probability assigned to the true label is made available by the model; and decision set (DS) disclosure, in which an adaptive prediction set is produced as in conformal prediction. We derive bounds on the advantage of an MIA adversary with the aim of offering insights into the impact of uncertainty and calibration on the effectiveness of MIAs. Simulation results demonstrate that the derived analytical bounds predict well the effectiveness of MIAs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google