Unified Model Learning for Various Neural Machine Translation

要約

既存のニューラル機械翻訳 (NMT) 研究は主に、さまざまなタスク (ドキュメント翻訳やチャット翻訳など) からのデータに基づいてデータセット固有のモデルを開発することに焦点を当てています。
データセット固有のモデルは優れたパフォーマンスを達成していますが、データセットごとにモデルを設計、トレーニング、保存する必要があるため、面倒です。
この作業では、これらの翻訳タスクをより一般的な設定に統合することを目的としています。
具体的には、「汎用性の高い」モデル、つまりさまざまなタスクからのデータを処理し、複数の設定で同時に適切に変換でき、理論的には可能な限り多くの設定が可能である NMT 用統合モデル学習 (UMLNMT) を提案します。
UMLNMT は統合学習を通じて、複数のタスクを共同でトレーニングし、インテリジェントなオンデマンド翻訳を実装できます。
文章翻訳、ドキュメント翻訳、チャット翻訳など、広く使用されている 7 つの翻訳タスクにおいて、当社の UMLNMT はデータセット固有のモデルに比べて大幅な改善をもたらし、モデル導入コストを大幅に削減します。
さらに、UMLNMT は、最先端のデータセット固有の方法と競合するか、それよりも優れたパフォーマンスを達成できます。
人間による評価と詳細な分析も、多様で高品質な翻訳を生成する際の当社のアプローチの優位性を実証しています。
さらに、186,000 の中国語→英語の文ペアを含む、有名な格言に関する新しいジャンルの翻訳データセットを提供します。

要約(オリジナル)

Existing neural machine translation (NMT) studies mainly focus on developing dataset-specific models based on data from different tasks (e.g., document translation and chat translation). Although the dataset-specific models have achieved impressive performance, it is cumbersome as each dataset demands a model to be designed, trained, and stored. In this work, we aim to unify these translation tasks into a more general setting. Specifically, we propose a “versatile” model, i.e., the Unified Model Learning for NMT (UMLNMT) that works with data from different tasks, and can translate well in multiple settings simultaneously, and theoretically it can be as many as possible. Through unified learning, UMLNMT is able to jointly train across multiple tasks, implementing intelligent on-demand translation. On seven widely-used translation tasks, including sentence translation, document translation, and chat translation, our UMLNMT results in substantial improvements over dataset-specific models with significantly reduced model deployment costs. Furthermore, UMLNMT can achieve competitive or better performance than state-of-the-art dataset-specific methods. Human evaluation and in-depth analysis also demonstrate the superiority of our approach on generating diverse and high-quality translations. Additionally, we provide a new genre translation dataset about famous aphorisms with 186k Chinese->English sentence pairs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google