Differentially Private Learning with Per-Sample Adaptive Clipping

要約

タイトル：パーサンプルアダプティブクリッピングを用いた差分プライバシー学習

要約：
– AIのプライバシー保護は、研究者や一般の人々から注目されているトピックである。
– 差分プライバシー学習は、プライバシーを保護するためのフレームワークの1つである。
– 学習プロセスに差分プライバシーを実現するために、既存のアルゴリズムは通常、定数のクリッピングで勾配の大きさを制限する。
– 最新のNSGDやAuto-Sなどの手法は、クリッピングではなく正規化を使用することで、ハイパーパラメータ調整を回避する方法を提案しているが、この方法は不要な更新を導入し、改善の余地がある。
– この論文では、非単調な適応重み関数を使用したDifferentially Private Per-Sample Adaptive Clipping（DP-PSAC）アルゴリズムを提案する。これにより、従来のアルゴリズムで必要だったハイパーパラメータ調整を回避しつつ、更新と真のバッチ平均勾配の偏差を大幅に減らしてプライバシー保護を実現する。
– 綿密な理論的収束解析を提供し、収束率が同じオーダーであるにもかかわらず、提案されたアルゴリズムがNSGD/Auto-Sよりも低い不変限界を維持することを示す。
– 多くの主流のビジョンや言語タスクで、DP-PSACが最先端の手法と同等以上の性能を発揮することを広範囲な実験評価を通じて示す。

要約(オリジナル)

Privacy in AI remains a topic that draws attention from researchers and the general public in recent years. As one way to implement privacy-preserving AI, differentially private learning is a framework that enables AI models to use differential privacy (DP). To achieve DP in the learning process, existing algorithms typically limit the magnitude of gradients with a constant clipping, which requires carefully tuned due to its significant impact on model performance. As a solution to this issue, latest works NSGD and Auto-S innovatively propose to use normalization instead of clipping to avoid hyperparameter tuning. However, normalization-based approaches like NSGD and Auto-S rely on a monotonic weight function, which imposes excessive weight on small gradient samples and introduces extra deviation to the update. In this paper, we propose a Differentially Private Per-Sample Adaptive Clipping (DP-PSAC) algorithm based on a non-monotonic adaptive weight function, which guarantees privacy without the typical hyperparameter tuning process of using a constant clipping while significantly reducing the deviation between the update and true batch-averaged gradient. We provide a rigorous theoretical convergence analysis and show that with convergence rate at the same order, the proposed algorithm achieves a lower non-vanishing bound, which is maintained over training iterations, compared with NSGD/Auto-S. In addition, through extensive experimental evaluation, we show that DP-PSAC outperforms or matches the state-of-the-art methods on multiple main-stream vision and language tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI