A Case Study on Context-Aware Neural Machine Translation with Multi-Task Learning

要約

文書レベルのニューラル機械翻訳（DocNMT）では、文脈と原文をエンコードするマルチエンコーダーアプローチが一般的である。最近の研究では、コンテキストエンコーダがノイズを発生させ、コンテキストの選択に対してモデルをロバストにすることが示されている。本論文では、マルチタスク学習(MTL)によって文脈エンコーディングを明示的にモデル化し、文脈の選択に敏感なモデルにすることで、この観察をさらに調査する。我々は1つのエンコーダと2つのデコーダからなるカスケードMTLアーキテクチャで実験を行う。コンテキストからソースを生成することは補助タスクであり、ソースからターゲットを生成することが主タスクである。News、TED、Europarlコーパスを用いて、ドイツ語と英語の言語ペアで実験を行った。評価の結果、提案するMTLアプローチは、低リソース環境において、連結ベースやマルチエンコーダのDocNMTモデルよりも性能が良く、コンテキストの選択に敏感であることが示された。しかし、MTLモデルはコンテキストからソースを生成することに失敗している。このことは、利用可能な文書レベルの並列コーパスはコンテキストを認識しておらず、ロバストな文レベルモデルがコンテキストを認識するモデルよりも優れていることを示唆している。

要約(オリジナル)

In document-level neural machine translation (DocNMT), multi-encoder approaches are common in encoding context and source sentences. Recent studies \cite{li-etal-2020-multi-encoder} have shown that the context encoder generates noise and makes the model robust to the choice of context. This paper further investigates this observation by explicitly modelling context encoding through multi-task learning (MTL) to make the model sensitive to the choice of context. We conduct experiments on cascade MTL architecture, which consists of one encoder and two decoders. Generation of the source from the context is considered an auxiliary task, and generation of the target from the source is the main task. We experimented with German–English language pairs on News, TED, and Europarl corpora. Evaluation results show that the proposed MTL approach performs better than concatenation-based and multi-encoder DocNMT models in low-resource settings and is sensitive to the choice of context. However, we observe that the MTL models are failing to generate the source from the context. These observations align with the previous studies, and this might suggest that the available document-level parallel corpora are not context-aware, and a robust sentence-level model can outperform the context-aware models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL