FDAPT: Federated Domain-adaptive Pre-training for Language Models

要約

基礎モデル (FM) は、幅広いタスクで顕著な成功を収めています。
特定のドメインとタスクの組み合わせにそれらを適用できるかどうかは、高品質のデータと大量の計算リソースの両方が利用できるかどうかにかかっています。
これらの課題はこの分野にとって新しいものではなく、実際、Federated Learning (FL) が同様の設定において有望なソリューションであることが示されています。
このペーパーでは、FM の適用における重要なステップであるドメイン適応型事前トレーニング (DAPT) の特定のケースに取り組みます。
私たちは、FDAPT (Federated Domain-Adaptive Pre-Training) のパフォーマンスを評価するための最初の包括的な実証研究を実施します。
我々は、FDAPT が IID と非 IID の両方の状況において、集中ベースラインに対して競争力のある下流タスクのパフォーマンスを維持できることを実証します。
最後に、新しいアルゴリズムである Frozen Federated Domain-Adaptive Pre-Training (FFDAPT) を提案します。
FFDAPT は計算効率を平均 12.1% 向上させ、通常の FDAPT と同様のダウンストリーム タスクのパフォーマンスを示し、一般的なパフォーマンスの変動は 1% 未満にとどまります。

要約(オリジナル)

Foundation models (FMs) have shown prominent success in a wide range of tasks. Their applicability to specific domain-task pairings relies on the availability of, both, high-quality data and significant computational resources. These challenges are not new to the field and, indeed, Federated Learning (FL) has been shown to be a promising solution in similar setups. This paper tackles the specific case of Domain-Adaptive Pre-Training (DAPT), a key step in the application of FMs. We conduct the first comprehensive empirical study to evaluate the performance of Federated Domain-Adaptive Pre-Training (FDAPT). We demonstrate that FDAPT can maintain competitive downstream task performance to the centralized baseline in both IID and non-IID situations. Finally, we propose a novel algorithm, Frozen Federated Domain-Adaptive Pre-Training (FFDAPT). FFDAPT improves the computational efficiency by 12.1% on average and exhibits similar downstream task performance to vanilla FDAPT, with general performance fluctuations remaining less than 1%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google