DP-SGD with weight clipping

要約

最近、ディープ ニューラル ネットワークや、トレーニングが通常目的関数の最適化に依存するその他の手法の人気と、データ プライバシーへの懸念により、差分プライベート勾配降下法に多くの関心が集まっています。
最小限のノイズで差分プライバシーの保証を達成するには、参加者が観察する情報の機密性を正確に制限できることが重要です。
この研究では、従来の勾配クリッピングから生じるバイアスを軽減する新しいアプローチを紹介します。
現在のモデルのリプシッツ値の公開上限と検索ドメイン内の現在の位置を利用することで、洗練されたノイズ レベル調整を実現できます。
我々は、改善された差分プライバシー保証と体系的な経験的評価を備えた新しいアルゴリズムを提示し、我々の新しいアプローチが実際にも既存のアプローチよりも優れていることを示します。

要約(オリジナル)

Recently, due to the popularity of deep neural networks and other methods whose training typically relies on the optimization of an objective function, and due to concerns for data privacy, there is a lot of interest in differentially private gradient descent methods. To achieve differential privacy guarantees with a minimum amount of noise, it is important to be able to bound precisely the sensitivity of the information which the participants will observe. In this study, we present a novel approach that mitigates the bias arising from traditional gradient clipping. By leveraging a public upper bound of the Lipschitz value of the current model and its current location within the search domain, we can achieve refined noise level adjustments. We present a new algorithm with improved differential privacy guarantees and a systematic empirical evaluation, showing that our new approach outperforms existing approaches also in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google