Efficient Membership Inference Attacks by Bayesian Neural Network

要約

メンバーシップ推論攻撃（MIA）は、特定のモデルのトレーニングで特定のデータポイントが使用されたかどうかを推定することを目的としています。
以前の攻撃では、多くの場合、複数の参照モデルを使用して条件付きスコア分布を近似し、重要な計算オーバーヘッドにつながります。
最近の作業は、条件付きしきい値を推定するために分位の回帰を活用していますが、認識論的な不確実性を捉えることができず、低密度領域でバイアスをもたらします。
この作業では、ベイジアン推論を通じて条件付き攻撃を実行する新しいアプローチ – ベイジアンメンバーシップ推論攻撃（BMIA）を提案します。
特に、ラプラス近似により訓練された参照モデルをベイジアンニューラルネットワークに変換し、確率的モデルパラメーターによる条件付けスコア分布の直接推定を可能にします。
私たちの方法は、参照モデルのみを使用して認識論とleatoricの両方の不確実性に対処し、効率的で強力なMIAを可能にします。
5つのデータセットでの広範な実験は、BMIAの有効性と効率性を示しています。

要約(オリジナル)

Membership Inference Attacks (MIAs) aim to estimate whether a specific data point was used in the training of a given model. Previous attacks often utilize multiple reference models to approximate the conditional score distribution, leading to significant computational overhead. While recent work leverages quantile regression to estimate conditional thresholds, it fails to capture epistemic uncertainty, resulting in bias in low-density regions. In this work, we propose a novel approach – Bayesian Membership Inference Attack (BMIA), which performs conditional attack through Bayesian inference. In particular, we transform a trained reference model into Bayesian neural networks by Laplace approximation, enabling the direct estimation of the conditional score distribution by probabilistic model parameters. Our method addresses both epistemic and aleatoric uncertainty with only a reference model, enabling efficient and powerful MIA. Extensive experiments on five datasets demonstrate the effectiveness and efficiency of BMIA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google