On the Impact of Uncertainty and Calibration on Likelihood-Ratio Membership Inference Attacks

要約

メンバーシップ推論攻撃（MIA）では、攻撃者は、典型的な機械学習モデルによって示される過度の自信を活用して、特定のデータポイントを使用してターゲットモデルをトレーニングするかどうかを判断します。
このホワイトペーパーでは、真のデータ生成プロセスにおけるアレアトリックの不確実性の影響、限られたトレーニングデータセットによって引き起こされる認識論的不確実性、およびターゲットモデルのキャリブレーションレベルの影響の調査を可能にする情報理論的枠組みの中で、尤度比攻撃（LIRA）のパフォーマンスを分析します。
攻撃者がターゲットモデルから減少的に有益なフィードバックを受け取る3つの異なる設定を比較します。信頼ベクター（CV）開示では、出力確率ベクトルがリリースされます。
真のラベル信頼性（TLC）の開示。このラベルに割り当てられた確率のみがモデルによって利用可能になります。
および決定セット（DS）開示。適応予測セットが適合予測のように生成されます。
私たちは、MIAの有効性に対する不確実性とキャリブレーションの影響に関する洞察を提供することを目的として、MIA敵の利点に関する境界を導き出します。
シミュレーション結果は、導出された分析境界がMIAの有効性を十分に予測することを示しています。

要約(オリジナル)

In a membership inference attack (MIA), an attacker exploits the overconfidence exhibited by typical machine learning models to determine whether a specific data point was used to train a target model. In this paper, we analyze the performance of the likelihood ratio attack (LiRA) within an information-theoretical framework that allows the investigation of the impact of the aleatoric uncertainty in the true data generation process, of the epistemic uncertainty caused by a limited training data set, and of the calibration level of the target model. We compare three different settings, in which the attacker receives decreasingly informative feedback from the target model: confidence vector (CV) disclosure, in which the output probability vector is released; true label confidence (TLC) disclosure, in which only the probability assigned to the true label is made available by the model; and decision set (DS) disclosure, in which an adaptive prediction set is produced as in conformal prediction. We derive bounds on the advantage of an MIA adversary with the aim of offering insights into the impact of uncertainty and calibration on the effectiveness of MIAs. Simulation results demonstrate that the derived analytical bounds predict well the effectiveness of MIAs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google