Causes and Cures for Interference in Multilingual Translation

要約

多言語機械翻訳モデルは、異なる言語ペア間の相乗効果から恩恵を受けることができますが、干渉の影響を受けることもあります。
干渉を排除することを目的とした洗練された方法が増えていますが、現象としての干渉に対する私たちの理解はまだ限られています。
この研究では、多言語機械翻訳の干渉に寄与する主な要因を特定します。
体系的な実験を通じて、干渉 (または相乗効果) は主にモデル サイズ、データ サイズ、およびデータセット全体における各言語ペアの割合によって決定されることがわかりました。
利用可能なトレーニング データに対してモデルが非常に小さい場合に大きな干渉が主に発生し、パラメータが 10 億未満の標準的なトランス構成を使用すると干渉が大幅に軽減され、相乗効果が促進されることがわかりました。
さらに、サンプリング温度を調整してデータ内の各言語ペアの割合を制御することが、低リソース言語ペアと高リソース言語ペア間の干渉量を効果的にバランスさせる鍵であり、全体的に優れたパフォーマンスにつながる可能性があることを示します。

要約(オリジナル)

Multilingual machine translation models can benefit from synergy between different language pairs, but also suffer from interference. While there is a growing number of sophisticated methods that aim to eliminate interference, our understanding of interference as a phenomenon is still limited. This work identifies the main factors that contribute to interference in multilingual machine translation. Through systematic experimentation, we find that interference (or synergy) are primarily determined by model size, data size, and the proportion of each language pair within the total dataset. We observe that substantial interference occurs mainly when the model is very small with respect to the available training data, and that using standard transformer configurations with less than one billion parameters largely alleviates interference and promotes synergy. Moreover, we show that tuning the sampling temperature to control the proportion of each language pair in the data is key to balancing the amount of interference between low and high resource language pairs effectively, and can lead to superior performance overall.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google