Direct Text to Speech Translation System using Acoustic Units

要約

本稿では、離散音響ユニットを用いたテキストから音声への直接翻訳システムを提案する。
このフレームワークは、さまざまなソース言語のテキストを入力として使用して、ターゲット言語でのテキストの転写を必要とせずに音声を生成します。
直接音声間翻訳システムの以前の研究における音響ユニットの成功に動機付けられ、同じパイプラインを使用して、クラスタリング アルゴリズムと組み合わせた音声エンコーダを使用して音響ユニットを抽出します。
ユニットが取得されると、エンコーダ/デコーダ アーキテクチャがそれらを予測するようにトレーニングされます。
次に、ボコーダーがユニットから音声を生成します。
テキストから音声への直接翻訳に対する私たちのアプローチは、初期化として使用された 2 つの異なるテキスト mBART モデルを使用して、新しい CVSS コーパスでテストされました。
提示されたシステムは、評価されたほとんどの言語ペアで競争力のあるパフォーマンスを報告します。
さらに、より多くの言語で事前トレーニングされたモデルを使用して提案されたアーキテクチャを初期化すると、結果は顕著な改善を示しました。

要約(オリジナル)

This paper proposes a direct text to speech translation system using discrete acoustic units. This framework employs text in different source languages as input to generate speech in the target language without the need for text transcriptions in this language. Motivated by the success of acoustic units in previous works for direct speech to speech translation systems, we use the same pipeline to extract the acoustic units using a speech encoder combined with a clustering algorithm. Once units are obtained, an encoder-decoder architecture is trained to predict them. Then a vocoder generates speech from units. Our approach for direct text to speech translation was tested on the new CVSS corpus with two different text mBART models employed as initialisation. The systems presented report competitive performance for most of the language pairs evaluated. Besides, results show a remarkable improvement when initialising our proposed architecture with a model pre-trained with more languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google