FedTLU: Federated Learning with Targeted Layer Updates

要約

Federated Learning (FL) は、複数のクライアントが言語モデルのトレーニングに貢献できるようにすることで、言語モデリングにおけるプライバシーの問題に対処します。
ただし、クライアント間での非 IID (同一かつ独立して分散された) データは、多くの場合、FL のパフォーマンスを制限します。
クライアントのデータ分布の変動によるノイズが最適値付近でのモデルの収束を損なう可能性があるため、この問題はモデルの微調整中に特に困難です。
この論文では、FL での微調整のためのターゲットを絞ったレイヤー更新戦略を提案します。
実際によく行われるように、言語モデルのレイヤーをランダムに更新する代わりに、スコアリング メカニズムを使用して最も重要なレイヤーを特定して更新し、過度にノイズの多い更新や、他のレイヤーのパラメーターをフリーズすることによる有害な更新を回避します。
私たちは広範な実験で、私たちの方法が非 IID 設定での収束とパフォーマンスを向上させ、フェデレーション言語モデルを微調整するためのより効率的なアプローチを提供することを示しています。

要約(オリジナル)

Federated learning (FL) addresses privacy concerns in language modeling by enabling multiple clients to contribute to training language models. However, non-IID (identically and independently distributed) data across clients often limits FL’s performance. This issue is especially challenging during model fine-tuning, as noise due to variations in clients’ data distributions can harm model convergence near the optimum. This paper proposes a targeted layer update strategy for fine-tuning in FL. Instead of randomly updating layers of the language model, as often done in practice, we use a scoring mechanism to identify and update the most critical layers, avoiding excessively noisy or even poisoned updates by freezing the parameters in other layers. We show in extensive experiments that our method improves convergence and performance in non-IID settings, offering a more efficient approach to fine-tuning federated language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google