AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation

要約

エンドツーエンドの音声翻訳では、エンコーダーによって学んだ音響表現は、通常、デコーダーの観点から固定された静的です。
このホワイトペーパーでは、デコーダーの隠された状態に従ってさまざまな音響状態の利点を示し、デコーダー内の音響状態を動的に適応させることができる適応的な音声からテキストへの翻訳モデルを提案します。
音響状態とターゲットワードの埋め込みシーケンスを連結し、連結されたシーケンスをデコーダー内の後続のブロックに供給します。
音響状態とターゲット隠された状態間の深い相互作用をモデル化するために、従来のクロスアテナンスネットワークを置き換えるために、音声テキストの混合注意崇拝者が導入されています。
2つの広く使用されているデータセットの実験結果は、提案された方法が最先端の神経音声翻訳モデルを大幅に上回ることを示しています。

要約(オリジナル)

In end-to-end speech translation, acoustic representations learned by the encoder are usually fixed and static, from the perspective of the decoder, which is not desirable for dealing with the cross-modal and cross-lingual challenge in speech translation. In this paper, we show the benefits of varying acoustic states according to decoder hidden states and propose an adaptive speech-to-text translation model that is able to dynamically adapt acoustic states in the decoder. We concatenate the acoustic state and target word embedding sequence and feed the concatenated sequence into subsequent blocks in the decoder. In order to model the deep interaction between acoustic states and target hidden states, a speech-text mixed attention sublayer is introduced to replace the conventional cross-attention network. Experiment results on two widely-used datasets show that the proposed method significantly outperforms state-of-the-art neural speech translation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google