Glancing Future for Simultaneous Machine Translation

要約

同時機械翻訳（SiMT）は、原文を読みながら翻訳を出力します。
従来のシーケンス間 (seq2seq) トレーニングとは異なり、既存の SiMT メソッドはプレフィックス間 (prefix2prefix) トレーニングを採用しており、モデルは部分的なソース トークンに基づいてターゲット トークンを予測します。
ただし、prefix2prefix トレーニングでは、グローバル情報を取得するモデルの能力が低下し、重要なソース情報が欠如しているため、強制的な予測が導入されます。
したがって、SiMT モデルの変換機能を強化するには、prefix2prefix トレーニングと seq2seq トレーニングの間のギャップを埋めることが重要です。
本稿では、seq2seq訓練からprefix2prefix訓練への移行を実現するためのカリキュラム学習の将来を見据えた新しい手法を提案する。
具体的には、利用可能なソース情報を文全体からそのレイテンシに対応するプレフィックスまで徐々に減らします。
私たちの方法は幅広い SiMT 方法に適用でき、実験では私たちの方法が強力なベースラインよりも優れていることが実証されています。

要約(オリジナル)

Simultaneous machine translation (SiMT) outputs translation while reading the source sentence. Unlike conventional sequence-to-sequence (seq2seq) training, existing SiMT methods adopt the prefix-to-prefix (prefix2prefix) training, where the model predicts target tokens based on partial source tokens. However, the prefix2prefix training diminishes the ability of the model to capture global information and introduces forced predictions due to the absence of essential source information. Consequently, it is crucial to bridge the gap between the prefix2prefix training and seq2seq training to enhance the translation capability of the SiMT model. In this paper, we propose a novel method that glances future in curriculum learning to achieve the transition from the seq2seq training to prefix2prefix training. Specifically, we gradually reduce the available source information from the whole sentence to the prefix corresponding to that latency. Our method is applicable to a wide range of SiMT methods and experiments demonstrate that our method outperforms strong baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google