Exploiting Domain-Specific Parallel Data on Multilingual Language Models for Low-resource Language Translation

要約

多言語シーケンスツーシーケンス言語モデル (msLM) に基づいて構築されたニューラル機械翻訳 (NMT) システムは、言語の並列データの量やモデル内の言語の表現が制限されている場合、期待した結果を提供できません。
これにより、低リソース言語 (LRL) に対するドメイン固有の NMT システムの機能が制限されます。
解決策として、補助ドメインからの並列データを使用して、msLM を微調整したり、さらに事前トレーニングしたりできます。
ドメイン固有の LRL-NMT のコンテキストにおけるこれら 2 つの手法の有効性の評価を示します。
また、NMT モデルのパフォーマンスに対するドメインの相違の影響も調査します。
LRL のドメイン固有の NMT モデルを構築する際に補助並列データを利用するためのいくつかの戦略をお勧めします。

要約(オリジナル)

Neural Machine Translation (NMT) systems built on multilingual sequence-to-sequence Language Models (msLMs) fail to deliver expected results when the amount of parallel data for a language, as well as the language’s representation in the model are limited. This restricts the capabilities of domain-specific NMT systems for low-resource languages (LRLs). As a solution, parallel data from auxiliary domains can be used either to fine-tune or to further pre-train the msLM. We present an evaluation of the effectiveness of these two techniques in the context of domain-specific LRL-NMT. We also explore the impact of domain divergence on NMT model performance. We recommend several strategies for utilizing auxiliary parallel data in building domain-specific NMT models for LRLs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google