Evaluating Methods for Ground-Truth-Free Foreign Accent Conversion

要約

外国アクセント変換 (FAC) は、音声変換 (VC) の特別なアプリケーションであり、非母語話者のアクセントのある音声を、同じ話者アイデンティティを持つ母語の音声に変換することを目的としています。
FACは、訓練対象として使用したい非母語話者の母語音声を収集することができないため、困難である。
この研究では、グラウンドトゥルースフリー FAC のために最近提案された 3 つの方法を評価します。これらの方法はすべて、シーケンス間 (seq2seq) および非並列 VC モデルの力を利用して、アクセントを適切に変換し、アクセントを制御することを目的としています。
スピーカーのアイデンティティ。
私たちの実験的評価結果は、すべての評価軸において他の方法よりも有意に優れた単一の方法は存在しないことを示しており、これは以前の研究で導き出された結論とは対照的です。
また、seq2seq モデルのトレーニング入力と出力を使用してこれらの方法の有効性を説明し、非並列 VC モデルの設計選択を検証し、単語誤り率などの明瞭度の尺度が主観的なアクセントとあまり相関しないことを示します。
最後に、再現可能な研究を促進し、将来の研究者が比較したシステムを改善できるようにするために、私たちの実装はオープンソース化されています。

要約(オリジナル)

Foreign accent conversion (FAC) is a special application of voice conversion (VC) which aims to convert the accented speech of a non-native speaker to a native-sounding speech with the same speaker identity. FAC is difficult since the native speech from the desired non-native speaker to be used as the training target is impossible to collect. In this work, we evaluate three recently proposed methods for ground-truth-free FAC, where all of them aim to harness the power of sequence-to-sequence (seq2seq) and non-parallel VC models to properly convert the accent and control the speaker identity. Our experimental evaluation results show that no single method was significantly better than the others in all evaluation axes, which is in contrast to conclusions drawn in previous studies. We also explain the effectiveness of these methods with the training input and output of the seq2seq model and examine the design choice of the non-parallel VC model, and show that intelligibility measures such as word error rates do not correlate well with subjective accentedness. Finally, our implementation is open-sourced to promote reproducible research and help future researchers improve upon the compared systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google