Domain adapted machine translation: What does catastrophic forgetting forget and why?

要約

ニューラル機械翻訳 (NMT) モデルは、ドメイン適応によって特殊化でき、多くの場合、対象のデータセットの微調整が含まれます。
このプロセスには、致命的な忘れ、一般的な翻訳品質の急速な低下の危険があります。
物忘れは広く観察されており、多くの軽減方法が提案されています。
しかし、物忘れの原因や、物忘れと適応データの関係については十分に解明されていません。
この論文は、データの影響を調査することによって、NMT 適応中の壊滅的な忘却を理解するための新しいアプローチを採用しています。
忘れ物とその理由について最初の調査を行います。
私たちは、忘却とドメイン内データの関係を調査し、忘却の量と種類がそのデータの対象語彙範囲に関連していることを示します。
私たちの発見は、より適切な情報に基づいた NMT ドメインの適応への道を開きます。

要約(オリジナル)

Neural Machine Translation (NMT) models can be specialized by domain adaptation, often involving fine-tuning on a dataset of interest. This process risks catastrophic forgetting: rapid loss of generic translation quality. Forgetting has been widely observed, with many mitigation methods proposed. However, the causes of forgetting and the relationship between forgetting and adaptation data are under-explored. This paper takes a novel approach to understanding catastrophic forgetting during NMT adaptation by investigating the impact of the data. We provide a first investigation of what is forgotten, and why. We examine the relationship between forgetting and the in-domain data, and show that the amount and type of forgetting is linked to that data’s target vocabulary coverage. Our findings pave the way toward better informed NMT domain adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google