Sparsity-Preserving Differentially Private Training of Large Embedding Models

要約

レコメンデーション システムや言語アプリケーションで大規模な埋め込みモデルの使用が増加するにつれて、ユーザー データのプライバシーに対する懸念も高まっています。
差分プライバシーと確率的勾配降下法を組み合わせたトレーニング アルゴリズムである DP-SGD は、モデルの精度を大幅に損なうことなくユーザーのプライバシーを保護する上で主力となってきました。
ただし、DP-SGD を単純にモデルの埋め込みに適用すると、勾配のスパース性が破壊され、トレーニング効率の低下につながる可能性があります。
この問題に対処するために、大規模な埋め込みモデルのプライベート トレーニング中に勾配スパース性を維持する 2 つの新しいアルゴリズム、DP-FEST と DP-AdaFEST を紹介します。
私たちのアルゴリズムは、現実世界のベンチマーク データセットで同等レベルの精度を維持しながら、勾配サイズの大幅な削減 ($10^6 \times$) を達成します。

要約(オリジナル)

As the use of large embedding models in recommendation systems and language applications increases, concerns over user data privacy have also risen. DP-SGD, a training algorithm that combines differential privacy with stochastic gradient descent, has been the workhorse in protecting user privacy without compromising model accuracy by much. However, applying DP-SGD naively to embedding models can destroy gradient sparsity, leading to reduced training efficiency. To address this issue, we present two new algorithms, DP-FEST and DP-AdaFEST, that preserve gradient sparsity during private training of large embedding models. Our algorithms achieve substantial reductions ($10^6 \times$) in gradient size, while maintaining comparable levels of accuracy, on benchmark real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google