Combining Automatic Speaker Verification and Prosody Analysis for Synthetic Speech Detection

要約

メディア コンテンツ合成技術の急速な普及と、オーディオとビデオのディープフェイクが人々の生活に与える潜在的な損害により、これらの偽造を自動的に検出できるシステムを実装する必要性が高まっています。
この作業では、人間の声の 2 つの高レベルのセマンティック プロパティの組み合わせを利用して、合成音声検出の新しいアプローチを提示します。
一方では、話者アイデンティティの手がかりに焦点を当て、自動話者検証タスクの最先端の方法を使用して抽出された話者埋め込みとしてそれらを表します。
一方、スピーチのリズム、ピッチ、またはアクセントのバリエーションとして意図された音声韻律は、専用のエンコーダーによって抽出されます。
教師ありバイナリ分類器に供給されるこれら 2 つの埋め込みの組み合わせにより、テキストから音声への変換技術と音声変換技術の両方で生成されたディープフェイク音声の検出が可能になることを示します。
私たちの結果は、考慮されたベースラインに対する改善、複数のデータセットに対する優れた一般化特性、およびオーディオ圧縮に対する堅牢性を示しています。

要約(オリジナル)

The rapid spread of media content synthesis technology and the potentially damaging impact of audio and video deepfakes on people’s lives have raised the need to implement systems able to detect these forgeries automatically. In this work we present a novel approach for synthetic speech detection, exploiting the combination of two high-level semantic properties of the human voice. On one side, we focus on speaker identity cues and represent them as speaker embeddings extracted using a state-of-the-art method for the automatic speaker verification task. On the other side, voice prosody, intended as variations in rhythm, pitch or accent in speech, is extracted through a specialized encoder. We show that the combination of these two embeddings fed to a supervised binary classifier allows the detection of deepfake speech generated with both Text-to-Speech and Voice Conversion techniques. Our results show improvements over the considered baselines, good generalization properties over multiple datasets and robustness to audio compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google