Leveraging Auxiliary Domain Parallel Data in Intermediate Task Fine-tuning for Low-resource Translation

要約

PMSS（Pre-trained Multilingual Sequence-Sequence）モデルで学習したNMTシステムは、微調整のために十分な量の並列データが利用できない場合、失敗します。これは特に、これらのモデルで表現されていない、または表現されていない言語について当てはまります。この問題は、データが異なるドメインから来た場合、さらに深刻になる。本論文では、PMSSモデルの中間タスクファインチューニング（ITFT）が、ドメイン固有のNMTにとって非常に有益であることを示す。特に、ターゲットドメインのデータが限られている/利用できない場合、また、PMSSモデルにおいて考慮される言語が欠落している/代表されていない場合である。我々は、ドメインダイバージェンステストを用いてドメイン固有の結果変動を定量化し、ITFTがドメインダイバージェンスの影響をある程度軽減できることを示す。

要約(オリジナル)

NMT systems trained on Pre-trained Multilingual Sequence-Sequence (PMSS) models flounder when sufficient amounts of parallel data is not available for fine-tuning. This specifically holds for languages missing/under-represented in these models. The problem gets aggravated when the data comes from different domains. In this paper, we show that intermediate-task fine-tuning (ITFT) of PMSS models is extremely beneficial for domain-specific NMT, especially when target domain data is limited/unavailable and the considered languages are missing or under-represented in the PMSS model. We quantify the domain-specific results variations using a domain-divergence test, and show that ITFT can mitigate the impact of domain divergence to some extent.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL