Non-Asymptotic Lower Bounds For Training Data Reconstruction

要約

情報に基づいた敵対者によるトレーニング データ再構築攻撃 (DRA) に対する回復力について、プライベート ラーニング アルゴリズムのセマンティック保証を調査します。
この目的のために、差分プライバシー (DP) とメトリック差分プライバシー (mDP) を満たす学習者に対する敵対者の再構成エラーの非漸近的ミニマックス下限を導き出します。
さらに、後者の下限分析は、入力データの次元が敵のクエリ予算よりも大きい可能性がある高次元体制もカバーすることを示しています。
メトリック DP によってもたらされる理論上の改善に動機付けられて、DP-SGD や Projected Noisy SGD などの一般的な深層学習アルゴリズムのプライバシー分析を拡張し、メトリック差分プライバシーのより広い概念をカバーします。

要約(オリジナル)

We investigate semantic guarantees of private learning algorithms for their resilience to training Data Reconstruction Attacks (DRAs) by informed adversaries. To this end, we derive non-asymptotic minimax lower bounds on the adversary’s reconstruction error against learners that satisfy differential privacy (DP) and metric differential privacy (mDP). Furthermore, we demonstrate that our lower bound analysis for the latter also covers the high dimensional regime, wherein, the input data dimensionality may be larger than the adversary’s query budget. Motivated by the theoretical improvements conferred by metric DP, we extend the privacy analysis of popular deep learning algorithms such as DP-SGD and Projected Noisy SGD to cover the broader notion of metric differential privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google