Low-Resource Machine Translation through the Lens of Personalized Federated Learning

要約

異種データを含む自然言語タスクに適用できる、パーソナライズされたフェデレーション学習アルゴリズム MeritFed に基づく MeritOpt と呼ばれる新しいアプローチを紹介します。
東南アジア言語とフィン・ウゴル語言語のデータセットを使用して、低リソース機械翻訳タスクで評価します。
MeritOpt は、その有効性に加えて、トレーニングに使用される各言語の影響を追跡するために適用できるため、解釈可能性も高くなります。
私たちの分析により、ターゲット データセットのサイズが補助言語間の重み配分に影響を及ぼし、無関係な言語はトレーニングに干渉せず、補助オプティマイザー パラメーターの影響が最小限であることが明らかになりました。
私たちのアプローチは数行のコードで簡単に適用でき、実験を再現するためのスクリプトを https://github.com/VityaVitalich/MeritOpt で提供しています。

要約(オリジナル)

We present a new approach called MeritOpt based on the Personalized Federated Learning algorithm MeritFed that can be applied to Natural Language Tasks with heterogeneous data. We evaluate it on the Low-Resource Machine Translation task, using the datasets of South East Asian and Finno-Ugric languages. In addition to its effectiveness, MeritOpt is also highly interpretable, as it can be applied to track the impact of each language used for training. Our analysis reveals that target dataset size affects weight distribution across auxiliary languages, that unrelated languages do not interfere with the training, and auxiliary optimizer parameters have minimal impact. Our approach is easy to apply with a few lines of code, and we provide scripts for reproducing the experiments at https://github.com/VityaVitalich/MeritOpt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google