Rethinking and Improving Multi-task Learning for End-to-end Speech Translation

要約

マルチタスク学習の適用により、エンドツーエンドの音声翻訳 (ST) が大幅に向上しました。
ただし、補助タスクが ST タスクとどの程度一致しているのか、またこのアプローチが実際にどの程度役立つのかについては、十分に研究されていません。
この論文では、異なる時間とモジュールを考慮して、異なるタスク間の一貫性を調査します。
テキスト エンコーダは主にクロスモーダル変換を促進しますが、音声にノイズが存在すると、テキストと音声表現の間の一貫性が妨げられることがわかりました。
さらに、長さと表現の違いを緩和することでモーダルギャップを埋める、ST タスク用の改良されたマルチタスク学習 (IMTL) アプローチを提案します。
MuST-C データセットで実験を行います。
結果は、私たちの方法が最先端の結果を達成することを示しています。
さらに、追加のデータを使用すると、現在の SOTA 手法で必要なトレーニング時間の 20.8% で、MuST-C 英語からスペイン語へのタスクで新しい SOTA 結果が得られました。

要約(オリジナル)

Significant improvements in end-to-end speech translation (ST) have been achieved through the application of multi-task learning. However, the extent to which auxiliary tasks are highly consistent with the ST task, and how much this approach truly helps, have not been thoroughly studied. In this paper, we investigate the consistency between different tasks, considering different times and modules. We find that the textual encoder primarily facilitates cross-modal conversion, but the presence of noise in speech impedes the consistency between text and speech representations. Furthermore, we propose an improved multi-task learning (IMTL) approach for the ST task, which bridges the modal gap by mitigating the difference in length and representation. We conduct experiments on the MuST-C dataset. The results demonstrate that our method attains state-of-the-art results. Moreover, when additional data is used, we achieve the new SOTA result on MuST-C English to Spanish task with 20.8% of the training time required by the current SOTA method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google