Leveraging Unstructured Text Data for Federated Instruction Tuning of Large Language Models

要約

フェデレーション命令チューニングにより、複数のクライアントが生データを直接共有せずに人間の命令に従うことができる共有大規模言語モデル (LLM) を共同で微調整できます。
しかし、既存の文献では、すべてのクライアントが命令チューニング データ (つまり、構造化された命令と応答のペア) を容易に保持することが非現実的であり、クライアントのデータは通常非構造化テキストであるため、大規模な人による注釈が必要になります。
これに対処して、我々は、フェデレーテッド命令チューニングのために非構造化コーパスを構造化データに自動的に変換できる、新規で柔軟なフレームワーク FedIT-U2S を提案します。
FedIT-U2S は 2 つの主要なステップで構成されます。(1) 少数ショットの命令チューニング データの生成。各非構造化データ部分といくつかの例が結合され、LLM に命令と応答のペアの生成を促します。
柔軟性をさらに高めるために、検索ベースの例選択技術が提案されています。この技術では、クライアントのデータピースと例プールの間の関連性に基づいて例が自動的に選択され、事前に例を決定する必要がありません。
(2) 生成されたデータに基づく一般的なフェデレーテッド命令チューニング プロセス。
全体として、FedIT-U2S は、クライアントが貴重なテキスト コーパスを保持している限り、さまざまなシナリオに適用でき、フェデレーテッド命令チューニングの適用範囲を広げます。
私たちは 3 つのドメイン (医学、知識、数学) で一連の実験を実施し、提案した FedIT-U2S がベースの LLM に対して一貫して大幅な改善をもたらすことができることを示しました。

要約(オリジナル)

Federated instruction tuning enables multiple clients to collaboratively fine-tune a shared large language model (LLM) that can follow humans’ instructions without directly sharing raw data. However, existing literature impractically requires that all the clients readily hold instruction-tuning data (i.e., structured instruction-response pairs), which necessitates massive human annotations since clients’ data is usually unstructured text instead. Addressing this, we propose a novel and flexible framework FedIT-U2S, which can automatically transform unstructured corpus into structured data for federated instruction tuning. FedIT-U2S consists two key steps: (1) few-shot instruction-tuning data generation, where each unstructured data piece together with several examples is combined to prompt an LLM in generating an instruction-response pair. To further enhance the flexibility, a retrieval-based example selection technique is proposed, where the examples are automatically selected based on the relatedness between the client’s data piece and example pool, bypassing the need of determining examples in advance. (2) A typical federated instruction tuning process based on the generated data. Overall, FedIT-U2S can be applied to diverse scenarios as long as the client holds valuable text corpus, broadening the application scope of federated instruction tuning. We conduct a series of experiments on three domains (medicine, knowledge, and math), showing that our proposed FedIT-U2S can consistently and significantly brings improvement over the base LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google