Make-A-Voice: Unified Voice Synthesis With Discrete Representation

要約

音声合成のさまざまなアプリケーションは、出力として「音声」を生成するという共通点があるにもかかわらず、独自に開発されてきました。
さらに、現在、音声合成モデルの大部分は注釈付きの音声データに依存していますが、話者のアイデンティティ、感情、音声など、人間の声に存在する幅広い音響変化を効果的にキャプチャするには、音声合成モデルを自己教師ありのデータセットにスケールすることが重要です。
そして韻律。
この研究では、離散表現から音声信号を合成および操作するための統一フレームワークである Make-A-Voice を提案します。
Make-A-Voice は、人間の声をモデル化するために「粗いものから細かいものへ」のアプローチを活用します。これには 3 つの段階が含まれます: 1) 意味論的段階: 言語コンテンツと自己監視型意味論的トークンの間の高レベルの変換をモデル化する、2) 音響段階
: セマンティックから音響へのモデリングのための音響条件としてさまざまな制御信号を導入します。3) 生成段階: 音響トークンから高忠実度の波形を合成します。
Make-A-Voice は、統合音声合成フレームワークとして顕著な利点を提供します。 1) データのスケーラビリティ: 主要なバックボーン (つまり、音響および生成ステージ) は注釈を必要としないため、トレーニング データをスケールアップできます。
2) 制御性と調整の柔軟性: さまざまな調整メカニズムを調査し、離散音声を再合成することでテキスト読み上げ (TTS)、音声変換 (VC)、歌声合成 (SVS) を含む 3 つの音声合成アプリケーションを効果的に処理します。
迅速なガイダンスによる表現。
実験結果は、Make-A-Voice が競合ベースライン モデルと比較して優れたオーディオ品質とスタイルの類似性を示すことを示しています。
音声サンプルは https://Make-A-Voice.github.io で入手できます。

要約(オリジナル)

Various applications of voice synthesis have been developed independently despite the fact that they generate ‘voice’ as output in common. In addition, the majority of voice synthesis models currently rely on annotated audio data, but it is crucial to scale them to self-supervised datasets in order to effectively capture the wide range of acoustic variations present in human voice, including speaker identity, emotion, and prosody. In this work, we propose Make-A-Voice, a unified framework for synthesizing and manipulating voice signals from discrete representations. Make-A-Voice leverages a ‘coarse-to-fine’ approach to model the human voice, which involves three stages: 1) semantic stage: model high-level transformation between linguistic content and self-supervised semantic tokens, 2) acoustic stage: introduce varying control signals as acoustic conditions for semantic-to-acoustic modeling, and 3) generation stage: synthesize high-fidelity waveforms from acoustic tokens. Make-A-Voice offers notable benefits as a unified voice synthesis framework: 1) Data scalability: the major backbone (i.e., acoustic and generation stage) does not require any annotations, and thus the training data could be scaled up. 2) Controllability and conditioning flexibility: we investigate different conditioning mechanisms and effectively handle three voice synthesis applications, including text-to-speech (TTS), voice conversion (VC), and singing voice synthesis (SVS) by re-synthesizing the discrete voice representations with prompt guidance. Experimental results demonstrate that Make-A-Voice exhibits superior audio quality and style similarity compared with competitive baseline models. Audio samples are available at https://Make-A-Voice.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google