Towards Improving the Expressiveness of Singing Voice Synthesis with BERT Derived Semantic Information

要約

本稿では、合成された歌声の表現力を向上させるために、Transformers (BERT) 由来のセマンティック埋め込みからの双方向エンコーダ表現を使用する、エンドツーエンドの高品質歌声合成 (SVS) システムを紹介します。
最近提案された VISinger の主なアーキテクチャに基づいて、表現力豊かな歌声合成のためのいくつかの具体的な設計を提案しました。
まず、以前の SVS モデルとは異なり、事前トレーニングされた BERT から抽出された歌詞のテキスト表現をモデルへの追加入力として使用します。
この表現には歌詞の意味論に関する情報が含まれており、SVS システムがより表現力豊かで自然な音声を生成するのに役立ちます。
次に、合成音声を安定化するエネルギー予測器をさらに導入し、歌声の表現力にも寄与する幅広いエネルギーの変動をモデル化します。
最後になりましたが、キーから外れた問題を軽減するために、実際のピッチとノートのピッチ比を予測するようにピッチ予測器が再設計されました。
客観的および主観的な実験結果は、提案された SVS システムが VISinger を上回る高品質の歌声を生成できることを示しています。

要約(オリジナル)

This paper presents an end-to-end high-quality singing voice synthesis (SVS) system that uses bidirectional encoder representation from Transformers (BERT) derived semantic embeddings to improve the expressiveness of the synthesized singing voice. Based on the main architecture of recently proposed VISinger, we put forward several specific designs for expressive singing voice synthesis. First, different from the previous SVS models, we use text representation of lyrics extracted from pre-trained BERT as additional input to the model. The representation contains information about semantics of the lyrics, which could help SVS system produce more expressive and natural voice. Second, we further introduce an energy predictor to stabilize the synthesized voice and model the wider range of energy variations that also contribute to the expressiveness of singing voice. Last but not the least, to attenuate the off-key issues, the pitch predictor is re-designed to predict the real to note pitch ratio. Both objective and subjective experimental results indicate that the proposed SVS system can produce singing voice with higher-quality outperforming VISinger.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google