Understanding and Bridging the Modality Gap for Speech Translation

要約

(テキスト) 機械翻訳 (MT) データを活用して、より優れたエンドツーエンドの音声翻訳 (ST) を実現するにはどうすればよいでしょうか?
さまざまな既存の手法の中でも、マルチタスク学習は ST と MT の間で知識を共有する効果的な方法の 1 つであり、追加の MT データがソースからターゲットへのマッピングの学習に役立ちます。
ただし、音声とテキストの違いにより、ST と MT の間には常にギャップが存在します。
この論文では、まずターゲット側の表現の違いからこのモダリティ ギャップを理解し、モダリティ ギャップをニューラル機械翻訳のもう 1 つのよく知られた問題である露出バイアスに結び付けることを目的としています。
一部の困難なケースを除いて、トレーニング中はモダリティ ギャップが比較的小さいことがわかりますが、推論中はカスケード効果により増加し続けます。
これらの問題に対処するために、スケジュールされたサンプリングによるクロスモーダル正則化 (Cress) 方法を提案します。
具体的には、ST と MT の出力予測を正規化します。ST と MT のターゲット側のコンテキストは、グラウンド トゥルースの単語とさまざまな確率で自己生成された単語の間でサンプリングすることによって導出されます。
さらに、モダリティギャップが大きい困難なケースに対処するために、ターゲットトークンに異なるトレーニング重みを割り当てるトークンレベルの適応トレーニングを導入します。
実験と分析により、私たちのアプローチがモダリティのギャップを効果的に橋渡しし、MuST-C データセットの 8 つの方向すべてで有望な結果が得られることが示されています。

要約(オリジナル)

How to achieve better end-to-end speech translation (ST) by leveraging (text) machine translation (MT) data? Among various existing techniques, multi-task learning is one of the effective ways to share knowledge between ST and MT in which additional MT data can help to learn source-to-target mapping. However, due to the differences between speech and text, there is always a gap between ST and MT. In this paper, we first aim to understand this modality gap from the target-side representation differences, and link the modality gap to another well-known problem in neural machine translation: exposure bias. We find that the modality gap is relatively small during training except for some difficult cases, but keeps increasing during inference due to the cascading effect. To address these problems, we propose the Cross-modal Regularization with Scheduled Sampling (Cress) method. Specifically, we regularize the output predictions of ST and MT, whose target-side contexts are derived by sampling between ground truth words and self-generated words with a varying probability. Furthermore, we introduce token-level adaptive training which assigns different training weights to target tokens to handle difficult cases with large modality gaps. Experiments and analysis show that our approach effectively bridges the modality gap, and achieves promising results in all eight directions of the MuST-C dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google