Private Fine-tuning of Large Language Models with Zeroth-order Optimization

要約

差分プライベート確率的勾配降下法 (DP-SGD) を使用すると、プライバシーを保護した方法でモデルをトレーニングできますが、基礎モデルの時代に合わせて拡張するのは難しいことがわかっています。
ゼロ次最適化手法をプライベート化することにより、大規模言語モデル用のプライベート微調整フレームワークである DP-ZO を紹介します。
私たちの手法の設計に関する重要な洞察は、使用する 0 次最適化の勾配の方向がランダムであり、トレーニング データからの唯一の情報がステップ サイズ、つまりスカラーであるということです。
したがって、メモリ効率の高いスカラー ステップ サイズのみをプライベート化する必要があります。
DP-ZO は、さまざまなタスクにわたってプライバシーとユーティリティの強力なトレードオフを提供し、$(\varepsilon,\delta)$-DP の DP-SGD に匹敵するモデル サイズを実現します。
特に、DP-ZO はメモリ効率において DP-SGD に比べて大きな利点があり、ラプラス機構を使用する場合、$\varepsilon$-DP でより高い有用性が得られます。

要約(オリジナル)

Differentially private stochastic gradient descent (DP-SGD) allows models to be trained in a privacy-preserving manner, but has proven difficult to scale to the era of foundation models. We introduce DP-ZO, a private fine-tuning framework for large language models by privatizing zeroth order optimization methods. A key insight into the design of our method is that the direction of the gradient in the zeroth-order optimization we use is random and the only information from training data is the step size, i.e., a scalar. Therefore, we only need to privatize the scalar step size, which is memory-efficient. DP-ZO provides a strong privacy-utility trade-off across different tasks, and model sizes that are comparable to DP-SGD in $(\varepsilon,\delta)$-DP. Notably, DP-ZO possesses significant advantages over DP-SGD in memory efficiency, and obtains higher utility in $\varepsilon$-DP when using the Laplace mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google