Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation

要約

自己監督でトレーニングされた大規模な多言語モデルは、さまざまな自然言語処理タスクで最先端の結果を達成します。
自己教師ありの事前トレーニング済みモデルは、多くの場合、機械翻訳用に 1 つまたは複数の言語ペアからの並列データで微調整されます。
多言語の微調整により、リソースの少ない言語でのパフォーマンスが向上しますが、モデル全体を変更する必要があり、法外な費用がかかる可能性があります。
各言語ペアで新しいアダプターをトレーニングするか、事前トレーニング済みのモデルを更新せずにすべての言語ペアで単一のアダプターをトレーニングすることが、パラメーター効率の高い代替手段として提案されています。
ただし、前者は言語間での共有を許可しませんが、後者はすべての言語のパラメーターを共有し、悪影響を受けやすくなっています。
このホワイト ペーパーでは、mBART-50 の上に言語ファミリ アダプターをトレーニングして、言語間転送を容易にすることを提案します。
私たちのアプローチは、関連するベースラインよりも優れており、英語からリソースの少ない 17 の異なる言語に翻訳する場合、平均してより高い翻訳スコアが得られます。
また、言語ファミリ アダプターが、事前トレーニング中に見えない言語に変換する効果的な方法を提供することも示します。

要約(オリジナル)

Large multilingual models trained with self-supervision achieve state-of-the-art results in a wide range of natural language processing tasks. Self-supervised pretrained models are often fine-tuned on parallel data from one or multiple language pairs for machine translation. Multilingual fine-tuning improves performance on low-resource languages but requires modifying the entire model and can be prohibitively expensive. Training a new adapter on each language pair or training a single adapter on all language pairs without updating the pretrained model has been proposed as a parameter-efficient alternative. However, the former does not permit any sharing between languages, while the latter shares parameters for all languages and is susceptible to negative interference. In this paper, we propose training language-family adapters on top of mBART-50 to facilitate cross-lingual transfer. Our approach outperforms related baselines, yielding higher translation scores on average when translating from English to 17 different low-resource languages. We also show that language-family adapters provide an effective method to translate to languages unseen during pretraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google