End-to-End Training for Back-Translation with Categorical Reparameterization Trick

要約

タイトル: カテゴリカル再パラメータリゼーショントリックを用いたバックトランスレーションのエンド・トゥ・エンド学習

要約: バックトランスレーションは、ニューラル機械翻訳（NMT）における効果的な半教師あり学習フレームワークである。事前に学習されたNMTモデルは、モノリンガルの文章を翻訳して合成的なバイリンガルの文章ペアを作成し、他のNMTモデルのトレーニングに使用する。また、その逆も行う。これらの2つのNMTモデルを、それぞれ推論モデルと生成モデルとして理解し、以前の研究では、変分オートエンコーダ（VAE）のトレーニングフレームワークを適用した。しかし、翻訳された文の離散的な性質により、2つのNMTモデル間で勾配情報が流れない。本研究では、カテゴリカル再パラメータリゼーショントリックを提案し、NMTモデルが微分可能な文を生成できるようにすることで、VAEのトレーニングフレームワークをエンド・トゥ・エンドで動作させる。実験の結果、提案手法によりNMTモデルを効果的にトレーニングし、WMT翻訳タスクのデータセットにおいて、以前のベースラインよりも優れたBLEUスコアを達成することができた。

要点:
– バックトランスレーションはNMTにおける半教師あり学習フレームワークであり、事前に学習されたNMTモデルを使用して合成的なバイリンガルの文章ペアを作成する
– 以前の研究では、VAEのトレーニングフレームワークを適用したが、翻訳された文の離散的な性質により、2つのNMTモデル間で勾配情報が流れない
– カテゴリカル再パラメータリゼーショントリックを提案し、NMTモデルが微分可能な文を生成できるようにすることで、VAEのトレーニングフレームワークをエンド・トゥ・エンドで動作させることができる
– 実験の結果、提案手法によりNMTモデルを効果的にトレーニングし、WMT翻訳タスクのデータセットにおいて、以前のベースラインよりも優れたBLEUスコアを達成することができた

要約(オリジナル)

Back-translation is an effective semi-supervised learning framework in neural machine translation (NMT). A pre-trained NMT model translates monolingual sentences and makes synthetic bilingual sentence pairs for the training of the other NMT model, and vice versa. Understanding the two NMT models as inference and generation models, respectively, previous works applied the training framework of variational auto-encoder (VAE). However, the discrete property of translated sentences prevents gradient information from flowing between the two NMT models. In this paper, we propose a categorical reparameterization trick that makes NMT models generate differentiable sentences so that the VAE’s training framework can work in the end-to-end fashion. Our experiments demonstrate that our method effectively trains the NMT models and achieves better BLEU scores than the previous baseline on the datasets of the WMT translation task.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI