Pseudo-Label Training and Model Inertia in Neural Machine Translation

要約

他の多くの機械学習アプリケーションと同様、ニューラル機械翻訳 (NMT) は、過剰にパラメータ化されたディープ ニューラル モデルの恩恵を受けます。
ただし、これらのモデルは脆弱であることが観察されています。NMT モデルの予測は小さな入力の変化に敏感であり、再トレーニングまたは増分モデルの更新中に大きな変動を示す可能性があります。
この研究では、NMT で頻繁に使用される方法である擬似ラベル トレーニング (PLT) を研究します。これは、前方翻訳 (または自己トレーニング) およびシーケンス レベルの知識の蒸留の関連技術に共通です。
品質に対する PLT の効果は十分に文書化されていますが、あまり知られていない効果を強調します。PLT は、モデルの更新と入力摂動に対するモデルの安定性を強化できます。これは、モデル慣性と呼ばれる一連のプロパティです。
私たちはさまざまなトレーニング設定の下で慣性効果を研究し、観察された結果の背後にあるメカニズムとして分布の単純化を特定しました。

要約(オリジナル)

Like many other machine learning applications, neural machine translation (NMT) benefits from over-parameterized deep neural models. However, these models have been observed to be brittle: NMT model predictions are sensitive to small input changes and can show significant variation across re-training or incremental model updates. This work studies a frequently used method in NMT, pseudo-label training (PLT), which is common to the related techniques of forward-translation (or self-training) and sequence-level knowledge distillation. While the effect of PLT on quality is well-documented, we highlight a lesser-known effect: PLT can enhance a model’s stability to model updates and input perturbations, a set of properties we call model inertia. We study inertia effects under different training settings and we identify distribution simplification as a mechanism behind the observed results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google