Fine-Tuning Large Language Models with User-Level Differential Privacy

要約

私たちは、各ユーザーが投稿したすべてのサンプルを確実に保護するために、ユーザーレベルの差分プライバシー (DP) を使用して大規模言語モデル (LLM) をトレーニングするための実用的でスケーラブルなアルゴリズムを調査します。
(1) サンプルレベル サンプリング (ELS) とサンプルごとの勾配クリッピング、(2) ユーザー レベル サンプリング (ULS) とユーザーごとの勾配クリッピングの 2 つの DP-SGD バリアントを研究します。
私たちは、ELS の確実なプライバシー保証を計算できる新しいユーザーレベルの DP アカウンタントを導き出します。
これを使用して、特定の設定では ELS が ULS よりも優れたパフォーマンスを発揮できる一方で、各ユーザーが多様な例のコレクションを持っている場合には、一般に ULS の方がより良い結果が得られることを示します。
私たちは、固定されたコンピューティング予算の下で合成平均推定と LLM 微調整タスクの実験を通じて結果を検証します。
(1) 強力なプライバシー保証が必要な場合、または (2) コンピューティング予算が大きい場合の設定では、ULS が大幅に優れていることがわかりました。
特に、LLM 互換のトレーニング アルゴリズムに重点を置いているため、数億のパラメーターを含むモデルや数十万のユーザーを含むデータセットに拡張することができます。

要約(オリジナル)

We investigate practical and scalable algorithms for training large language models (LLMs) with user-level differential privacy (DP) in order to provably safeguard all the examples contributed by each user. We study two variants of DP-SGD with: (1) example-level sampling (ELS) and per-example gradient clipping, and (2) user-level sampling (ULS) and per-user gradient clipping. We derive a novel user-level DP accountant that allows us to compute provably tight privacy guarantees for ELS. Using this, we show that while ELS can outperform ULS in specific settings, ULS generally yields better results when each user has a diverse collection of examples. We validate our findings through experiments in synthetic mean estimation and LLM fine-tuning tasks under fixed compute budgets. We find that ULS is significantly better in settings where either (1) strong privacy guarantees are required, or (2) the compute budget is large. Notably, our focus on LLM-compatible training algorithms allows us to scale to models with hundreds of millions of parameters and datasets with hundreds of thousands of users.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google