Encoding Speaker-Specific Latent Speech Feature for Speech Synthesis

要約

この研究では、多数の話者をモデル化するための新しい方法を提案します。これにより、ターゲット話者のデータセットで追加のトレーニングを行わずに、トレーニングされたマルチ話者モデルのように話者の全体的な特性を詳細に表現できます。
同様の目的を持ったさまざまな研究が活発に研究されていますが、基本的な制限により、そのパフォーマンスはトレーニングされたマルチスピーカー モデルのパフォーマンスにはまだ達していません。
以前の制限を克服するために、特徴を離散化し音声合成モデルに条件付けすることによって、特徴を学習し、ターゲット話者の音声特徴を表現するための効果的な方法を提案します。
私たちの方法では、主観的類似性評価において、たとえ見えていない話者であっても、最高のパフォーマンスを誇るマルチ話者モデルの見えている話者よりも大幅に高い類似性平均意見スコア (SMOS) が得られました。
提案された方法は、ゼロショット方法よりも大幅に優れています。
さらに、私たちの方法は、新しい人工スピーカーの生成において顕著なパフォーマンスを示します。
さらに、符号化された潜在的な特徴が、元の話者の音声を完全に再構成するのに十分な情報を提供することを示します。
これは、私たちの方法がさまざまなタスクで話者の特性を符号化および再構築するための一般的な方法論として使用できることを意味します。

要約(オリジナル)

In this work, we propose a novel method for modeling numerous speakers, which enables expressing the overall characteristics of speakers in detail like a trained multi-speaker model without additional training on the target speaker’s dataset. Although various works with similar purposes have been actively studied, their performance has not yet reached that of trained multi-speaker models due to their fundamental limitations. To overcome previous limitations, we propose effective methods for feature learning and representing target speakers’ speech characteristics by discretizing the features and conditioning them to a speech synthesis model. Our method obtained a significantly higher similarity mean opinion score (SMOS) in subjective similarity evaluation than seen speakers of a best-performing multi-speaker model, even with unseen speakers. The proposed method also outperforms a zero-shot method by significant margins. Furthermore, our method shows remarkable performance in generating new artificial speakers. In addition, we demonstrate that the encoded latent features are sufficiently informative to reconstruct an original speaker’s speech completely. It implies that our method can be used as a general methodology to encode and reconstruct speakers’ characteristics in various tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google