SEF-VC: Speaker Embedding Free Zero-Shot Voice Conversion with Cross Attention

要約

ゼロショット音声変換 (VC) は、言語内容を変更せずに、ソース スピーカーの音色を任意の目に見えないターゲット スピーカーの音色に変換することを目的としています。
生成された音声の音声は、ターゲット話者の話者埋め込みを提供することで制御できますが、話者の類似性は依然としてグラウンド トゥルース録音よりも遅れています。
この論文では、強力な位置に依存しないクロスアテンションメカニズムを介して基準音声から話者の音色を学習して組み込むように設計された話者埋め込み自由音声変換モデルである SEF-VC を提案します。その後、HuBERT セマンティックトークンから波形を再構築します。
非自己回帰的な方法。
SEF-VC の簡潔な設計により、トレーニングの安定性と音声変換パフォーマンスが向上します。
客観的および主観的な評価は、非常に短いリファレンス音声であっても、強力なゼロショット VC ベースラインよりもターゲットリファレンスとの類似性が高い高品質音声を生成する SEF-VC の優位性を示しています。

要約(オリジナル)

Zero-shot voice conversion (VC) aims to transfer the source speaker timbre to arbitrary unseen target speaker timbre, while keeping the linguistic content unchanged. Although the voice of generated speech can be controlled by providing the speaker embedding of the target speaker, the speaker similarity still lags behind the ground truth recordings. In this paper, we propose SEF-VC, a speaker embedding free voice conversion model, which is designed to learn and incorporate speaker timbre from reference speech via a powerful position-agnostic cross-attention mechanism, and then reconstruct waveform from HuBERT semantic tokens in a non-autoregressive manner. The concise design of SEF-VC enhances its training stability and voice conversion performance. Objective and subjective evaluations demonstrate the superiority of SEF-VC to generate high-quality speech with better similarity to target reference than strong zero-shot VC baselines, even for very short reference speeches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google