Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer

要約

最近の研究では、独立してトレーニングされたエンコーダーとデコーダーを共有の固定サイズ表現を通じて組み合わせることで、音声からテキストへの翻訳において競争力のあるパフォーマンスを達成できることが示されています。
この研究では、この種のアプローチが多言語トレーニングによってさらに改善できることを示します。
ゼロショット クロスモーダル音声翻訳では大幅な改善が見られ、いくつかの言語では XLSR に基づく教師ありアプローチを上回っています。

要約(オリジナル)

Recent research has shown that independently trained encoders and decoders, combined through a shared fixed-size representation, can achieve competitive performance in speech-to-text translation. In this work, we show that this type of approach can be further improved with multilingual training. We observe significant improvements in zero-shot cross-modal speech translation, even outperforming a supervised approach based on XLSR for several languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google