Efficient Monotonic Multihead Attention

要約

数値的に安定した不偏単調アライメント推定を備えた最先端の同時翻訳モデルである Efficient Monotonic Multihead Attendee (EMMA) を紹介します。
さらに、オフライン翻訳モデルからの同時微調整や単調整列分散の低減など、改善されたトレーニングおよび推論戦略を紹介します。
実験結果は、提案されたモデルがスペイン語と英語の翻訳タスクにおける音声からテキストへの同時翻訳において最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google