Privately Fine-Tuning Large Language Models with Differential Privacy

要約

事前トレーニング済みの大規模言語モデル (LLM) は、複雑な AI タスクで画期的なパフォーマンスをもたらした最新の AI の不可欠な部分です。
高価なインフラストラクチャを持つ主要な AI 企業は、数十億、数百万のパラメーターを持つこれらの大規模なモデルをゼロから開発およびトレーニングできます。
サードパーティ、研究者、実務家は、これらの事前トレーニング済みモデルをますます採用し、プライベート データで微調整して、下流の AI タスクを達成しています。
ただし、攻撃者がこれらの LLM から正確なトレーニング サンプルを抽出/再構築できることが示されています。これにより、個人を特定できる情報が明らかになる可能性があります。
この問題は、LLM のプライバシーに関する深刻な懸念を引き起こしました。
差分プライバシー (DP) は、LLM のトレーニングまたは微調整のプロセスにノイズを追加して、トレーニング データの抽出が実行不可能になる (つまり、暗号的に小さな成功確率で) ことを可能にする厳密なフレームワークを提供します。
現存するほとんどの研究で提供されている理論上のプライバシー保証は、漸近的な設定で多くのトレーニングの反復を通じてモデルをゼロから学習することを前提としていますが、この仮定は、トレーニングの反復回数が大幅に少ない微調整シナリオには当てはまりません。
このギャップに対処するために、有限サンプルのプライバシー保証を備えた Edgeworth accountant に基づいて LLM を微調整するための DP フレームワークである \ewtune を紹介します。
確立された 4 つの自然言語理解 (NLU) タスクにわたる私たちの結果は、\ewtune~ が LLM 微調整プロセスにプライバシー保証を追加する一方で、誘導ノイズを最大 5.6\% まで減少させることに直接貢献し、状態を改善することを示しています。
-すべての NLU タスクで最先端の LLM のパフォーマンスが最大 1.1\% 向上します。
幅広い採用と公開テストの目的で、実装をオープンソース化しました。

要約(オリジナル)

Pre-trained Large Language Models (LLMs) are an integral part of modern AI that have led to breakthrough performances in complex AI tasks. Major AI companies with expensive infrastructures are able to develop and train these large models with billions and millions of parameters from scratch. Third parties, researchers, and practitioners are increasingly adopting these pre-trained models and fine-tuning them on their private data to accomplish their downstream AI tasks. However, it has been shown that an adversary can extract/reconstruct the exact training samples from these LLMs, which can lead to revealing personally identifiable information. The issue has raised deep concerns about the privacy of LLMs. Differential privacy (DP) provides a rigorous framework that allows adding noise in the process of training or fine-tuning LLMs such that extracting the training data becomes infeasible (i.e., with a cryptographically small success probability). While the theoretical privacy guarantees offered in most extant studies assume learning models from scratch through many training iterations in an asymptotic setting, this assumption does not hold in fine-tuning scenarios in which the number of training iterations is significantly smaller. To address the gap, we present \ewtune, a DP framework for fine-tuning LLMs based on Edgeworth accountant with finite-sample privacy guarantees. Our results across four well-established natural language understanding (NLU) tasks show that while \ewtune~adds privacy guarantees to LLM fine-tuning process, it directly contributes to decreasing the induced noise to up to 5.6\% and improves the state-of-the-art LLMs performance by up to 1.1\% across all NLU tasks. We have open-sourced our implementations for wide adoption and public testing purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google