Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger

要約

例ごとの勾配クリッピングは、深層学習モデルの実用的な差分プライベート（DP）トレーニングを可能にする重要なアルゴリズムステップです。
ただし、クリッピングノルム$ R $の選択は、DPで高精度を達成するために不可欠であることが示されています。
AutoClippingと呼ばれる使いやすい代替品を提案します。これにより、DP-SGD、DP-Adam、DP-LAMBなどのDPオプティマイザーの$R$を調整する必要がなくなります。
自動バリアントは、既存のDPオプティマイザーと同じようにプライベートで計算効率が高くなりますが、DP固有のハイパーパラメーターを必要としないため、DPトレーニングは標準の非プライベートトレーニングと同じくらい受け入れやすくなります。
非凸設定での自動DP-SGDの厳密な収束分析を行います。これは、標準SGDに一致する漸近収束率を享受していることを示しています。
また、さまざまな言語およびビジョンタスクで、自動クリッピングが最先端の機能よりも優れているか一致しており、既存のコードベースに最小限の変更を加えるだけで簡単に使用できることを示します。

要約(オリジナル)

Per-example gradient clipping is a key algorithmic step that enables practical differential private (DP) training for deep learning models. The choice of clipping norm $R$, however, is shown to be vital for achieving high accuracy under DP. We propose an easy-to-use replacement, called AutoClipping, that eliminates the need to tune $R$ for any DP optimizers, including DP-SGD, DP-Adam, DP-LAMB and many others. The automatic variants are as private and computationally efficient as existing DP optimizers, but require no DP-specific hyperparameters and thus make DP training as amenable as the standard non-private training. We give a rigorous convergence analysis of automatic DP-SGD in the non-convex setting, which shows that it enjoys an asymptotic convergence rate that matches the standard SGD. We also demonstrate on various language and vision tasks that automatic clipping outperforms or matches the state-of-the-art, and can be easily employed with minimal changes to existing codebases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google