A Fast, Performant, Secure Distributed Training Framework For Large Language Model

要約

分散 (フェデレーション) LLM は、サイロ化されたデータを使用してドメイン固有の LLM を共同トレーニングするための重要な方法です。
しかし、サーバーまたはクライアント側からモデルのパラメータやデータを悪意を持って盗むことは、解決すべき緊急の問題となっています。
この論文では、モデル スライシングに基づいた安全な分散 LLM を提案します。
この場合、信頼できる実行環境 (TEE) をクライアント側とサーバー側の両方にデプロイし、微調整された構造 (LoRA または P-tuning v2 の埋め込み) を TEE に組み込みます。
そして、軽量暗号化によりTEE環境や一般環境においてセキュアな通信が実行されます。
機器コストをさらに削減し、モデルのパフォーマンスと精度を向上させるために、分割微調整スキームを提案します。
特に、LLM をレイヤーごとに分割し、後者のレイヤーをサーバー側 TEE に配置します (クライアントには TEE は必要ありません)。
次に、提案されたスパース化パラメーター微調整 (SPF) を LoRA 部分と組み合わせて、下流タスクの精度を向上させます。
多くの実験により、私たちの方法がセキュリティを維持しながら精度を保証することが示されています。

要約(オリジナル)

The distributed (federated) LLM is an important method for co-training the domain-specific LLM using siloed data. However, maliciously stealing model parameters and data from the server or client side has become an urgent problem to be solved. In this paper, we propose a secure distributed LLM based on model slicing. In this case, we deploy the Trusted Execution Environment (TEE) on both the client and server side, and put the fine-tuned structure (LoRA or embedding of P-tuning v2) into the TEE. Then, secure communication is executed in the TEE and general environments through lightweight encryption. In order to further reduce the equipment cost as well as increase the model performance and accuracy, we propose a split fine-tuning scheme. In particular, we split the LLM by layers and place the latter layers in a server-side TEE (the client does not need a TEE). We then combine the proposed Sparsification Parameter Fine-tuning (SPF) with the LoRA part to improve the accuracy of the downstream task. Numerous experiments have shown that our method guarantees accuracy while maintaining security.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google