FedCoLLM: A Parameter-Efficient Federated Co-tuning Framework for Large and Small Language Models

要約

大規模言語モデル (LLM) をドメイン固有のタスクに適応させたり、ドメイン固有の知識で強化したりすることで、LLM の機能を最大限に活用できます。
それにもかかわらず、サーバーの LLM と下流のクライアントの Small Language Model (SLM) の間で同時に相互拡張を実現するにはギャップが残ります。
これに対処するために、LLM と SLM を共同調整するために設計された、パラメーター効率の高い新しいフェデレーテッド フレームワークである FedCoLLM を提案します。
このアプローチは、サーバー側の LLM の知識をクライアントの SLM に適応的に転送すると同時に、クライアントからのドメインの洞察で LLM を強化することを目的としています。
これを実現するために、FedCoLLM は SLM と組み合わせて軽量アダプターを利用し、データ プライバシーを尊重しながら計算と通信のオーバーヘッドを最小限に抑えながらサーバーとクライアント間の知識交換を促進します。
さまざまな NLP テキスト生成タスクにわたってさまざまなパブリック LLM および SLM を利用した FedCoLLM の評価では、LLM の支援によりクライアントの SLM のパフォーマンスが顕著に向上していることが明らかになりました。
同時に、FedCoLLM によって強化された LLM は、クライアントのデータを直接微調整することで得られるパフォーマンスと同等のパフォーマンスを実現します。

要約(オリジナル)

By adapting Large Language Models (LLMs) to domain-specific tasks or enriching them with domain-specific knowledge, we can fully harness the capabilities of LLMs. Nonetheless, a gap persists in achieving simultaneous mutual enhancement between the server’s LLM and the downstream clients’ Small Language Models (SLMs). To address this, we propose FedCoLLM, a novel and parameter-efficient federated framework designed for co-tuning LLMs and SLMs. This approach is aimed at adaptively transferring server-side LLMs knowledge to clients’ SLMs while simultaneously enriching the LLMs with domain insights from the clients. To accomplish this, FedCoLLM utilizes lightweight adapters in conjunction with SLMs, facilitating knowledge exchange between server and clients in a manner that respects data privacy while also minimizing computational and communication overhead. Our evaluation of FedCoLLM, utilizing various public LLMs and SLMs across a range of NLP text generation tasks, reveals that the performance of clients’ SLMs experiences notable improvements with the assistance of the LLMs. Simultaneously, the LLMs enhanced via FedCoLLM achieves comparable performance to that obtained through direct fine-tuning on clients’ data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google