Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation

要約

Federated Learning（FL）は、複数のクライアントがグローバルモデルを協力して訓練できるようにする有望な分散機械学習パラダイムです。
このホワイトペーパーでは、独自の言語固有のデータを持つクライアントが高品質のニューラルマシン翻訳（NMT）モデルを共同で構築することを目的としている、実用的なフェデレーション多言語学習セットアップに焦点を当てています。
ただし、実際のネットワークシステムの通信制約は、FLパーティー間で大規模なNMTエンジンを交換するための課題を提示します。
FLベースの多言語NMTトレーニング中のクライアントからのモデル送信の通信効率を改善するメタラーニングベースの適応パラメーター選択方法論を提案します。
私たちのアプローチは、異なるFLラウンド間のクライアントのテンソル逸脱に基づいて、NMTモデルの品質を損なうことなく、伝送前にパラメーターをフィルタリングするための動的なしきい値を学習します。
異なる言語分布を持つ2つのNMTデータセットでの実験を通じて、Metasendが限られた通信予算の存在下で翻訳品質のベースラインよりも大幅な改善を取得することを実証します。

要約(オリジナル)

Federated learning (FL) is a promising distributed machine learning paradigm that enables multiple clients to collaboratively train a global model. In this paper, we focus on a practical federated multilingual learning setup where clients with their own language-specific data aim to collaboratively construct a high-quality neural machine translation (NMT) model. However, communication constraints in practical network systems present challenges for exchanging large-scale NMT engines between FL parties. We propose a meta-learning-based adaptive parameter selection methodology, MetaSend, that improves the communication efficiency of model transmissions from clients during FL-based multilingual NMT training. Our approach learns a dynamic threshold for filtering parameters prior to transmission without compromising the NMT model quality, based on the tensor deviations of clients between different FL rounds. Through experiments on two NMT datasets with different language distributions, we demonstrate that MetaSend obtains substantial improvements over baselines in translation quality in the presence of a limited communication budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google