Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning

要約

大規模言語モデル (LLM) への関心と応用の急増により、金融や医学などの特定のアプリケーションに合わせてこれらのモデルを微調整する動きが活発化しています。
しかし、特に複数の利害関係者が機密データを使用して共同で LLM を強化しようとする場合、データ プライバシーに関する懸念が生じています。
このシナリオでは、フェデレーテッド ラーニングが自然な選択となり、生データを中央サーバーに公開することなく分散型の微調整が可能になります。
これを動機として、私たちは、LLM を強化するための複数の関係者からの安全な貢献を可能にする、実践的なフェデレーテッド ラーニング アプローチを通じて LLM 微調整においてデータ プライバシーをどのように確保できるかを調査します。
しかし、次のような課題が生じます。1) 生データの公開は避けられますが、モデルの出力から機密情報が推測されるリスクがあり、2) LLM のフェデレーテッド ラーニングでは顕著な通信オーバーヘッドが発生します。
これらの課題に対処するために、この記事では、LLM 向けに調整された新しい連合学習アルゴリズムである DP-LoRA を紹介します。
DP-LoRA は、重み更新にノイズを追加するガウス メカニズムを採用することでデータ プライバシーを保護し、協調的なモデル トレーニングを容易にしながら個々のデータのプライバシーを維持します。
さらに、DP-LoRA は、低ランク適応を通じて通信効率を最適化し、分散トレーニング中の更新された重みの送信を最小限に抑えます。
さまざまな LLM を使用した医療、金融、および一般データセットにわたる実験結果は、DP-LoRA が通信オーバーヘッドを最小限に抑えながら厳格なプライバシー制約を効果的に確保することを示しています。

要約(オリジナル)

The surge in interest and application of large language models (LLMs) has sparked a drive to fine-tune these models to suit specific applications, such as finance and medical science. However, concerns regarding data privacy have emerged, especially when multiple stakeholders aim to collaboratively enhance LLMs using sensitive data. In this scenario, federated learning becomes a natural choice, allowing decentralized fine-tuning without exposing raw data to central servers. Motivated by this, we investigate how data privacy can be ensured in LLM fine-tuning through practical federated learning approaches, enabling secure contributions from multiple parties to enhance LLMs. Yet, challenges arise: 1) despite avoiding raw data exposure, there is a risk of inferring sensitive information from model outputs, and 2) federated learning for LLMs incurs notable communication overhead. To address these challenges, this article introduces DP-LoRA, a novel federated learning algorithm tailored for LLMs. DP-LoRA preserves data privacy by employing a Gaussian mechanism that adds noise in weight updates, maintaining individual data privacy while facilitating collaborative model training. Moreover, DP-LoRA optimizes communication efficiency via low-rank adaptation, minimizing the transmission of updated weights during distributed training. The experimental results across medical, financial, and general datasets using various LLMs demonstrate that DP-LoRA effectively ensures strict privacy constraints while minimizing communication overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google