SIG-VC: A Speaker Information Guided Zero-shot Voice Conversion System for Both Human Beings and Machines

要約

タイトル：SIG-VC：人間と機械の両方のためのスピーカー情報ガイド付きゼロショット音声変換システム

要約：

– 従来の音声変換（VC）タスクにおいて、より多くのシステムが良好な実績を出すにつれ、人々は徐々に極端な条件下でのVCタスクに注目し始めています。
– 本論文では、ゼロショット音声変換のための新しい方法を提案しています。
– 話し手-コンテンツの分離のための中間表現を得ることを目的としており、話者情報をよりよく除去し純粋なコンテンツ情報を得るようにします。
– そのため、提案されたフレームワークには、ソース話者の音響特徴から話者情報を除去するモジュールが含まれています。
– さらに、音声クローン性能を維持するために、システムに話者情報制御が追加されています。
– 提案されたシステムは、主観的および客観的指標によって評価されました。
– 結果は、提案されたシステムがゼロショット音声変換におけるトレードオフ問題を大幅に緩和すると同時に、スピーカー検証システムへの高いスプーフィング性能を持つことを示しています。

要約(オリジナル)

Nowadays, as more and more systems achieve good performance in traditional voice conversion (VC) tasks, people’s attention gradually turns to VC tasks under extreme conditions. In this paper, we propose a novel method for zero-shot voice conversion. We aim to obtain intermediate representations for speaker-content disentanglement of speech to better remove speaker information and get pure content information. Accordingly, our proposed framework contains a module that removes the speaker information from the acoustic feature of the source speaker. Moreover, speaker information control is added to our system to maintain the voice cloning performance. The proposed system is evaluated by subjective and objective metrics. Results show that our proposed system significantly reduces the trade-off problem in zero-shot voice conversion, while it also manages to have high spoofing power to the speaker verification system.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI