DP-SGD Without Clipping: The Lipschitz Neural Network Way

要約

Differentially Private (DP) Deep Neural Networks (DNN) をトレーニングするための最先端のアプローチは、ネットワーク層の感度の厳しい限界を推定することが困難であり、代わりにサンプルごとの勾配クリッピングのプロセスに依存しています。
このクリッピング プロセスは、勾配の方向にバイアスをかけるだけでなく、メモリ消費と計算の両方でコストがかかることがわかります。
感度限界を提供し、クリッピング プロセスの欠点を回避するために、リプシッツ制約ネットワークの理論的分析により、入力に関するリプシッツ定数とパラメーターに関するリプシッツ定数の間の未調査のリンクが明らかになりました。
各層のパラメータに関してリプシッツ定数を制限することにより、これらのネットワークの DP トレーニングが保証されます。
この分析により、前述の感度を大規模に計算できるだけでなく、固定プライバシーを保証するために勾配対ノイズ比を最大化する方法についても手がかりが得られます。
リプシッツ ネットワークの適用を促進し、プライバシー保証の下で堅牢で証明可能な学習を促進するために、そのようなネットワークの構築とプライベート トレーニングを可能にするビルディング ブロックを実装する Python パッケージを提供します。

要約(オリジナル)

State-of-the-art approaches for training Differentially Private (DP) Deep Neural Networks (DNN) faces difficulties to estimate tight bounds on the sensitivity of the network’s layers, and instead rely on a process of per-sample gradient clipping. This clipping process not only biases the direction of gradients but also proves costly both in memory consumption and in computation. To provide sensitivity bounds and bypass the drawbacks of the clipping process, our theoretical analysis of Lipschitz constrained networks reveals an unexplored link between the Lipschitz constant with respect to their input and the one with respect to their parameters. By bounding the Lipschitz constant of each layer with respect to its parameters we guarantee DP training of these networks. This analysis not only allows the computation of the aforementioned sensitivities at scale but also provides leads on to how maximize the gradient-to-noise ratio for fixed privacy guarantees. To facilitate the application of Lipschitz networks and foster robust and certifiable learning under privacy guarantees, we provide a Python package that implements building blocks allowing the construction and private training of such networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google