Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks

要約

私たちは、ランダム化された機械学習アルゴリズムにおけるモデルの過剰なパラメーター化が、トレーニング データに関する情報漏洩にどのような影響を与えるかを分析的に調査します。
具体的には、最悪の場合の隣接するデータセット上のモデル分布間の KL 発散に対するプライバシー限界を証明し、完全に接続されたニューラル ネットワークの初期化、幅、深さへの依存性を調査します。
この KL プライバシー限界は、トレーニング中のモデル パラメーターに対する期待される二乗勾配ノルムによって主に決定されることがわかりました。
特に、線形化されたネットワークの特殊な設定では、二乗勾配ノルム (したがってプライバシー損失の拡大) が初期化分布の層ごとの分散に直接結びついていることが分析で示されています。
この分析を使用することで、特定の初期化 (LeCun と Xavier) では深度が増加するとプライバシー境界が向上する一方、他の初期化 (He と NTK) では深度が増加するとプライバシー境界が低下することを示します。
私たちの研究により、選択された初期化ディストリビューションに依存するプライバシーと深さの間の複雑な相互作用が明らかになりました。
さらに、固定 KL プライバシー予算の下での過剰な経験的リスク限界を証明し、プライバシー ユーティリティのトレードオフと深さの間の相互作用が初期化によって同様に影響を受けることを示します。

要約(オリジナル)

We analytically investigate how over-parameterization of models in randomized machine learning algorithms impacts the information leakage about their training data. Specifically, we prove a privacy bound for the KL divergence between model distributions on worst-case neighboring datasets, and explore its dependence on the initialization, width, and depth of fully connected neural networks. We find that this KL privacy bound is largely determined by the expected squared gradient norm relative to model parameters during training. Notably, for the special setting of linearized network, our analysis indicates that the squared gradient norm (and therefore the escalation of privacy loss) is tied directly to the per-layer variance of the initialization distribution. By using this analysis, we demonstrate that privacy bound improves with increasing depth under certain initializations (LeCun and Xavier), while degrades with increasing depth under other initializations (He and NTK). Our work reveals a complex interplay between privacy and depth that depends on the chosen initialization distribution. We further prove excess empirical risk bounds under a fixed KL privacy budget, and show that the interplay between privacy utility trade-off and depth is similarly affected by the initialization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google