Private Fine-tuning of Large Language Models with Zeroth-order Optimization

要約

プライベート データセットで大規模な事前トレーニング済みモデルを微調整すると、プライバシーが侵害されるリスクが生じる可能性があります。
差分プライバシーは、アルゴリズムの安定性を強化することでプライバシーのリスクを軽減するためのフレームワークです。
DP-SGD を使用すると、プライバシーを保護しながらプライベート データを使用してモデルをトレーニングできますが、パフォーマンスの低下やエンジニアリング上の重大な課題という新たな障害が生じます。
ゼロ次最適化をプライベート化することでトレーニング データのプライバシーを保護する、大規模な言語モデルを微調整するための新しい方法である DP-ZO を紹介します。
私たちの手法の設計に関する重要な洞察は、私たちが使用する 0 次アルゴリズムである SPSA の勾配の方向は常にランダムであり、プライベート データに依存する唯一の情報はステップ サイズ、つまりスカラーであるということです。
したがって、メモリ効率の高いスカラー ステップ サイズのみをプライベート化する必要があります。
DP-ZO は、ラプラス ノイズまたはガウス ノイズのいずれかを使用してインスタンス化できるため、控えめなプライバシー予算の下で、さまざまなタスクやモデル サイズにわたってプライバシーとユーティリティの強力なトレードオフを提供します。
注目すべき結果の 1 つは、SQuAD からの 1000 個のトレーニング サンプルで OPT-66B を微調整した場合に、$(1,10^{-5})$-DP でのプライバシーによる DP-ZO のパフォーマンス低下がわずか $1.86\%$ であることです。

要約(オリジナル)

Fine-tuning large pretrained models on private datasets may run the risk of violating privacy. Differential privacy is a framework for mitigating privacy risks by enforcing algorithmic stability. DP-SGD enables training models with private data in a privacy-preserving manner, but raises new obstacles in the form of performance loss and significant engineering challenges. We introduce DP-ZO, a new method for fine-tuning large language models that preserves the privacy of training data by privatizing zeroth-order optimization. A key insight into the design of our method is that the direction of the gradient in SPSA, the zeroth-order algorithm we use, is always random and the only information that depends on private data is the step size, i.e., a scalar. Therefore, we only need to privatize the scalar step size, which is memory-efficient. DP-ZO, which can be instantiated with either Laplace or Gaussian noise, provides a strong privacy-utility trade-off across different tasks, and model sizes, under conservative privacy budgets. One noteworthy result is that DP-ZO exhibits just $1.86\%$ performance degradation due to privacy at $(1,10^{-5})$-DP when fine-tuning OPT-66B on 1000 training samples from SQuAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google