Integration of Large Language Models and Federated Learning

要約

大規模言語モデル (LLM) のパラメータ サイズが拡大し続ける中、高品質のデータの不足に早急に対処する必要があります。
これに応えて、既存の研究では、フェデレーテッド ラーニング (FL) を LLM に組み込むことで画期的な進歩を遂げようとしています。
逆に、タスクの一般化における LLM の卓越したパフォーマンスを考慮して、研究者は関連ドメインの課題に取り組むためにフロリダ州内で LLM を適用することも試みています。
LLM と FL の相補性は、すでに広範な研究の関心を引き起こしています。
このペーパーでは、LLM と FL の統合について深く探ることを目的としています。
我々は、LLM と FL の融合を 3 つの部分、LLM サブテクノロジーと FL の組み合わせ、FL サブテクノロジーと LLM の統合、LLM と FL の全体的な合併の 3 つの部分に分割した研究枠組みを提案します。
まず、LLM と FL を組み合わせた分野における研究の現状を、その典型的なアプリケーション、統合の利点、直面する課題、解決に向けた将来の方向性など、包括的にレビューします。
続いて、ヘルスケア、金融、教育などの重要なシナリオにおける LLM と FL の組み合わせの実際的な応用について議論し、LLM と FL の将来の研究の方向性についての新しい視点と洞察を提供します。

要約(オリジナル)

As the parameter size of Large Language Models (LLMs) continues to expand, there is an urgent need to address the scarcity of high-quality data. In response, existing research has attempted to make a breakthrough by incorporating Federated Learning (FL) into LLMs. Conversely, considering the outstanding performance of LLMs in task generalization, researchers have also tried applying LLMs within FL to tackle challenges in relevant domains. The complementarity between LLMs and FL has already ignited widespread research interest. In this paper, we aim to deeply explore the integration of LLMs and FL. We propose a research framework, dividing the fusion of LLMs and FL into three parts: the combination of LLM sub-technologies with FL, the integration of FL sub-technologies with LLMs, and the overall merger of LLMs and FL. We first provide a comprehensive review of the current state of research in the domain of LLMs combined with FL, including their typical applications, integration advantages, challenges faced, and future directions for resolution. Subsequently, we discuss the practical applications of the combination of LLMs and FL in critical scenarios such as healthcare, finance, and education, and provide new perspectives and insights into future research directions for LLMs and FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google