FedMKT: Federated Mutual Knowledge Transfer for Large and Small Language Models

要約

フェデレーション大規模言語モデル (LLM) に関する最近の研究は、クライアントがローカルに展開された同種の LLM を共同で微調整できるようにすること、またはサーバーベースの LLM からダウンストリーム クライアントの小規模言語モデル (SLM) に知識を転送できるようにすることに主に焦点を当てています。
ただし、サーバーの LLM とクライアントの SLM の両方の同時相互拡張には、大きなギャップが残っています。
このギャップを埋めるために、大小の言語モデル向けのパラメータ効率の高いフェデレーテッド相互知識伝達フレームワークである FedMKT を提案します。
このフレームワークは、サーバーの LLM からクライアントの SLM に知識を適応的に転送すると同時に、クライアント固有のドメインの洞察で LLM を強化するように設計されています。
最小編集距離 (MinED) を使用してトークンの調整を促進し、クライアント側 SLM とサーバー側 LLM の間で選択的な相互知識の転送を行い、全体としてパフォーマンスを向上させることを目指しています。
3 つの異なるシナリオにわたる広範な実験を通じて、さまざまな NLP テキスト生成タスクでさまざまなパブリック LLM および SLM を使用した FedMKT の有効性を評価しました。
経験的な結果は、FedMKT が LLM と SLM の両方のパフォーマンスを同時に向上させることを示しています。

要約(オリジナル)

Recent research in federated large language models (LLMs) has primarily focused on enabling clients to fine-tune their locally deployed homogeneous LLMs collaboratively or on transferring knowledge from server-based LLMs to small language models (SLMs) at downstream clients. However, a significant gap remains in the simultaneous mutual enhancement of both the server’s LLM and clients’ SLMs. To bridge this gap, we propose FedMKT, a parameter-efficient federated mutual knowledge transfer framework for large and small language models. This framework is designed to adaptively transfer knowledge from the server’s LLM to clients’ SLMs while concurrently enriching the LLM with clients’ unique domain insights. We facilitate token alignment using minimum edit distance (MinED) and then selective mutual knowledge transfer between client-side SLMs and a server-side LLM, aiming to collectively enhance their performance. Through extensive experiments across three distinct scenarios, we evaluate the effectiveness of FedMKT using various public LLMs and SLMs on a range of NLP text generation tasks. Empirical results demonstrate that FedMKT simultaneously boosts the performance of both LLMs and SLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google