Communication-Efficient Federated Fine-Tuning of Language Models via Dynamic Update Schedules

要約

Federated Learning（FL）により、そうでなければ未開発でアクセスできないデータに関するモデルをトレーニングできます。
同時に、事前に訓練された言語モデル（LMS）は、現代のワークフローに不可欠なツールとして浮上しています。
これらのモデルは並外れた機能を示し、下流のタスクに簡単に適応できます。
これにより、フロリダ州で最もエキサイティングなフロンティアの1つであるLMSが微調整されます。
ただし、FLでの持続的な課題は、パラメーターの頻繁で厳格な通信であり、これらの最新モデルの膨大なサイズによって拡大される問題です。
現在、Fedoptファミリーのアルゴリズムは、FLの一般的なアプローチですが、モデル同期のための固定されたヒューリスティック間隔に依存しています。
最近、FDAアルゴリズムは、トレーニングの進捗状況を監視することにより動的な代替案を導入しましたが、独自の欠点がありました。
つまり、調整が難しいしきい値パラメーターと剛性の同期スキーム。
この作業では、FDA-OPTファミリーのアルゴリズムを紹介します。これは、FDAとFedoptの両方の背後にある原則を拡張する統一された一般化を紹介しながら、コアの制限を解決します。
さまざまな下流のNLPタスクにわたるLMSの微調整に関するアプローチを評価し、FDA-OPTが元々競合他社向けに最適化されたハイパーパラメーター設定で動作した場合でも、Fedoptを一貫して上回ることを実証します。
言い換えれば、FDA-OPTは、最新のFLライブラリとシステムのFEDOPTの実用的なドロップイン交換であることを示します。追加の構成は必要ありません。

要約(オリジナル)

Federated learning (FL) makes it possible to train models on data that would otherwise remain untapped and inaccessible. Simultaneously, pre-trained language models (LMs) have emerged as indispensable tools in modern workflows. These models exhibit extraordinary capabilities and are easily adapted to downstream tasks. This opens one of the most exciting frontiers in FL: fine-tuning LMs. However, a persistent challenge in FL is the frequent, rigid communication of parameters, a problem which is magnified by the sheer size of these modern models. Currently, the FedOpt family of algorithms is the prevailing approach in FL, though it relies on fixed, heuristic intervals for model synchronization. Recently, the FDA algorithm introduced a dynamic alternative by monitoring training progress, but it came with its own drawbacks; namely, a hard-to-tune threshold parameter and a rigid synchronization scheme. In this work, we introduce the FDA-Opt family of algorithms — a unified generalization that extends the principles behind both FDA and FedOpt, while resolving their core limitations. We evaluate our approach on fine-tuning LMs across a range of downstream NLP tasks, and demonstrate that it consistently outperforms FedOpt — even when FDA-Opt operates under hyper-parameter settings originally optimized for its competitors. In other words, we show that FDA-Opt is a practical, drop-in replacement for FedOpt in modern FL libraries and systems: it requires no additional configuration and delivers superior performance out of the box.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google