Order Matters in the Presence of Dataset Imbalance for Multilingual Learning

要約

この論文では、マルチタスク学習の最適化ダイナミクスを実証的に研究し、特にデータの不均衡が顕著なタスクの集合を制御するタスクに焦点を当てます。
私たちは、高リソースのタスクで事前トレーニングを行った後、高リソースと低リソースのタスクを組み合わせて微調整する、シンプルかつ効果的な方法を紹介します。
この方法の利点について徹底的な実証研究と分析を提供し、標準的な静的重み付けのパフォーマンス トレードオフ プロファイルと比較して一貫した改善が達成されることを示しています。
私たちは、この方法がどのようなデータ体制下で適用可能であるかを分析し、ニューラル機械翻訳 (NMT) と多言語言語モデリングにおけるその改善を実証的に示します。

要約(オリジナル)

In this paper, we empirically study the optimization dynamics of multi-task learning, particularly focusing on those that govern a collection of tasks with significant data imbalance. We present a simple yet effective method of pre-training on high-resource tasks, followed by fine-tuning on a mixture of high/low-resource tasks. We provide a thorough empirical study and analysis of this method’s benefits showing that it achieves consistent improvements relative to the performance trade-off profile of standard static weighting. We analyze under what data regimes this method is applicable and show its improvements empirically in neural machine translation (NMT) and multi-lingual language modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google