Towards Building the Federated GPT: Federated Instruction Tuning

要約

「命令調整された」生成大規模言語モデル (LLM) は、新しいタスクに一般化する優れた能力を実証していますが、トレーニング フェーズは、大量の多様で高品質な命令データ (ChatGPT や GPT-4 など) に大きく依存しています。
残念ながら、高品質のデータを取得すること、特に人間が書いたデータの場合、コストとアクセシビリティの両方の点で大きな課題が生じる可能性があります。
さらに、プライバシーに関する懸念により、そのようなデータへのアクセスがさらに制限される可能性があり、データを取得するプロセスが複雑で微妙な作業になる可能性があります。
その結果、これにより調整されたモデルの汎用性が妨げられ、特定の状況においてその有効性が制限される可能性があります。
この問題に取り組むために、私たちの研究では、LLM の命令チューニングの学習フレームワークとして連合学習 (FL) を活用する、連合命令チューニング (FedIT) と呼ばれる新しいアプローチを導入しています。
これは、LLM 向けの FL ベースの命令チューニングの最初の調査となります。
テキスト データは主にエンド ユーザーによって生成されるため、これは特に重要です。
したがって、プライバシーを保護し、データのセキュリティを確保しながら、ローカル デバイスに保存されているユーザーのさまざまな指示を効果的に活用するには、FL アプローチを設計および適応させることが不可欠です。
今回の論文では、広く使用されている GPT-4 自動評価を実施することにより、提案されたフレームワーク FedIT を使用してクライアント側で異種混合の多様な命令セットを活用することで、集中トレーニングのみを使用した場合と比較して LLM のパフォーマンスが向上したことを実証します。
ローカルでの指示は限られています。
さらに、この論文では、Shepherd という名前の Github リポジトリを開発しました。
このリポジトリは、さまざまなカテゴリにわたる異種命令を使用して LLM のフェデレーテッド微調整を探索するための基本的なフレームワークを提供します。

要約(オリジナル)

While ‘instruction-tuned’ generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users’ diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client’s end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google