FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model

要約

大規模言語モデル (LLM) は、適切なデータを使用して微調整した後、多くのドメイン固有のタスクで驚くべきパフォーマンスを示します。
ただし、ドメイン固有のデータの多くは複数の所有者に非公開で配布されます。
したがって、このジレンマにより、フェデレーテッド ラーニング (FL) で LLM 微調整を実行する方法への関心が高まります。
しかし、フロリダ州のクライアントは、計算能力と通信能力が限られているため、LLM を効果的に微調整するのに苦労しています。
この目的を達成するために、FL に対するリソース効率の高い LLM 微調整アプローチである FedBiOT を導入します。
具体的には、私たちの方法には、サーバーが圧縮 LLM を生成し、そのパフォーマンスを完全なモデルと調整することが含まれます。
その後、クライアントは、アダプターと呼ばれる圧縮モデルの軽量かつ重要な部分を微調整します。
サーバーはクライアントが所有するプライベート データにアクセスできないため、サーバーが調整に使用するデータは、クライアントが微調整に使用するデータとは異なる分布を持つことに注意してください。
この問題を 2 レベルの最適化問題に定式化して、データの不一致による悪影響を最小限に抑え、サーバーとクライアントの更新ルールを導き出します。
私たちは LLaMA-2 について広範な実験を実施し、アダプターがグローバル LLM に再統合されたときに優れたパフォーマンスを発揮することを経験的に示しています。
この結果は、提案された FedBiOT が既存のベンチマークと比較してリソース消費を大幅に削減しながら、同等のパフォーマンス レベルを達成していることも示しています。

要約(オリジナル)

Large language models (LLMs) show amazing performance on many domain-specific tasks after fine-tuning with some appropriate data. However, many domain-specific data are privately distributed across multiple owners. Thus, this dilemma raises the interest in how to perform LLM fine-tuning in federated learning (FL). However, confronted with limited computation and communication capacities, FL clients struggle to fine-tune an LLM effectively. To this end, we introduce FedBiOT, a resource-efficient LLM fine-tuning approach to FL. Specifically, our method involves the server generating a compressed LLM and aligning its performance with the full model. Subsequently, the clients fine-tune a lightweight yet important part of the compressed model, referred to as an adapter. Notice that as the server has no access to the private data owned by the clients, the data used for alignment by the server has a different distribution from the one used for fine-tuning by clients. We formulate the problem into a bi-level optimization problem to minimize the negative effect of data discrepancy and derive the updating rules for the server and clients. We conduct extensive experiments on LLaMA-2, empirically showing that the adapter has exceptional performance when reintegrated into the global LLM. The results also indicate that the proposed FedBiOT significantly reduces resource consumption compared to existing benchmarks, all while achieving comparable performance levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google