Federated Large Language Model: A Position Paper

要約

大規模言語モデル (LLM) は大きな注目を集め、さまざまなドメインにわたって多様な用途が見出されていますが、その開発は現実のシナリオで課題に直面しています。
これらの課題は、パブリック ドメイン データの可用性が不足していることと、プライベート ドメイン データに関してプライバシーを維持する必要があるために発生します。
これらの問題に対処するために、分散型データを保存しながら共有モデルの共同トレーニングを可能にするフェデレーテッド ラーニング (FL) が有望なテクノロジーとして浮上しました。
我々は、フェデレーテッド LLM の概念を提案します。このコンセプトは、フェデレーテッド LLM の事前トレーニング、フェデレーテッド LLM の微調整、フェデレーテッド LLM プロンプト エンジニアリングという 3 つの主要なコンポーネントで構成されます。
各コンポーネントについて、従来の LLM トレーニング方法と比較したその利点について説明し、実装のための具体的なエンジニアリング戦略を提案します。
さらに、FL と LLM の統合によってもたらされる新たな課題を探ります。
私たちは既存のソリューションを分析し、フェデレーション LLM のコンテキスト内でこれらのソリューションが直面する潜在的な障害を特定します。

要約(オリジナル)

Large scale language models (LLM) have received significant attention and found diverse applications across various domains, but their development encounters challenges in real-world scenarios. These challenges arise due to the scarcity of public domain data availability and the need to maintain privacy with respect to private domain data. To address these issues, federated learning (FL) has emerged as a promising technology that enables collaborative training of shared models while preserving decentralized data. We propose the concept of federated LLM, which comprises three key components, i.e., federated LLM pre-training, federated LLM fine-tuning, and federated LLM prompt engineering. For each component, we discuss its advantage over traditional LLM training methods and propose specific engineering strategies for implementation. Furthermore, we explore the novel challenges introduced by the integration of FL and LLM. We analyze existing solutions and identify potential obstacles faced by these solutions within the context of federated LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google