Language Model is a Branch Predictor for Simultaneous Machine Translation

要約

同時機械翻訳 (SiMT) の主な目的は、最終的な翻訳の品質を維持しながら遅延を最小限に抑えることです。
CPU 分岐予測技術からインスピレーションを得て、SiMT タスクに分岐予測技術を組み込んで変換レイテンシーを削減することを提案します。
具体的には、言語モデルを分岐予測子として利用して、潜在的な分岐方向、つまり将来のソース単語を予測します。
その後、予測されたソース単語を利用して出力を事前にデコードします。
実際のソース単語が予測されたソース単語から逸脱する場合、実際のソース単語を使用して出力を再度デコードし、予測された出力を置き換えます。
計算コストをさらに削減するために、エンコーダーと分岐予測子のパラメーターを共有し、初期化に事前トレーニングされた言語モデルを利用します。
私たちが提案する手法は、あらゆる SiMT モデルとシームレスに統合できます。
広範な実験結果は、私たちのアプローチが翻訳品質と待ち時間を同時に改善できることを示しています。
私たちのコードは https://github.com/yingAoXiong/simt_branch_predictor で入手できます。

要約(オリジナル)

The primary objective of simultaneous machine translation (SiMT) is to minimize latency while preserving the quality of the final translation. Drawing inspiration from CPU branch prediction techniques, we propose incorporating branch prediction techniques in SiMT tasks to reduce translation latency. Specifically, we utilize a language model as a branch predictor to predict potential branch directions, namely, future source words. Subsequently, we utilize the predicted source words to decode the output in advance. When the actual source word deviates from the predicted source word, we use the real source word to decode the output again, replacing the predicted output. To further reduce computational costs, we share the parameters of the encoder and the branch predictor, and utilize a pre-trained language model for initialization. Our proposed method can be seamlessly integrated with any SiMT model. Extensive experimental results demonstrate that our approach can improve translation quality and latency at the same time. Our code is available at https://github.com/YinAoXiong/simt_branch_predictor .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google