A Case Study on Context Encoding in Multi-Encoder based Document-Level Neural Machine Translation

要約

最近の研究では、マルチエンコーダー モデルはコンテキストの選択に依存せず、コンテキスト エンコーダーはノイズを生成し、これが BLEU スコアの点でモデルの改善に役立つことが示されています。
この論文では、3 つの異なるコンテキスト設定、つまり、前の 2 つの文、ランダムな 2 つの文、およびコンテキストとしての両方の混合でトレーニングされたマルチエンコーダ モデルをトレーニングすることにより、コンテキストを意識した代名詞翻訳テスト セットを評価することで、このアイデアをさらに検討します。
具体的には、ContraPro テスト セットのモデルを評価して、さまざまなコンテキストが代名詞の翻訳精度にどのような影響を与えるかを研究します。
結果は、コンテキストがランダムな場合でもモデルが ContraPro テスト セットで良好にパフォーマンスできることを示しています。
また、ソース表現を分析して、コンテキスト エンコーダーがノイズを生成するかどうかを調査します。
私たちの分析は、コンテキストエンコーダーが談話レベルの情報を学習するのに十分な情報を提供することを示しています。
さらに、選択したコンテキスト (この場合は前の 2 つの文) とランダムなコンテキストを混合する方が、一般に他の設定よりも優れていることがわかります。

要約(オリジナル)

Recent studies have shown that the multi-encoder models are agnostic to the choice of context, and the context encoder generates noise which helps improve the models in terms of BLEU score. In this paper, we further explore this idea by evaluating with context-aware pronoun translation test set by training multi-encoder models trained on three different context settings viz, previous two sentences, random two sentences, and a mix of both as context. Specifically, we evaluate the models on the ContraPro test set to study how different contexts affect pronoun translation accuracy. The results show that the model can perform well on the ContraPro test set even when the context is random. We also analyze the source representations to study whether the context encoder generates noise. Our analysis shows that the context encoder provides sufficient information to learn discourse-level information. Additionally, we observe that mixing the selected context (the previous two sentences in this case) and the random context is generally better than the other settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google