Improving Generalization for AI-Synthesized Voice Detection

要約

AI 合成音声テクノロジーは、有益な用途のためにリアルな人間の声を作成できる可能性を秘めていますが、悪意のある目的に悪用される可能性もあります。
既存の AI 合成音声検出モデルはドメイン内評価には優れていますが、異なるドメイン間での一般化には課題があり、新しい音声生成器の出現によって時代遅れになる可能性があります。
現在のソリューションは、多様なデータと高度な機械学習技術 (ドメイン不変表現、自己教師あり学習など) を使用していますが、事前定義されたボコーダーと、背景ノイズや話者のアイデンティティなどの要因に対する感度によって制限されています。
この研究では、ボコーダーに関連するドメインに依存しないアーティファクトの特徴を抽出することを目的とした革新的なもつれ解除フレームワークを紹介します。
これらの機能を利用して、平坦な損失状況でのモデル学習を強化し、次善のソリューションからの脱出を可能にし、一般化を向上させます。
ベンチマークに関する広範な実験により、私たちのアプローチが最先端の手法を上回るパフォーマンスを示し、ドメイン内評価で等誤り率メトリクスで最大 5.12%、クロスドメイン評価で 7.59% の改善を達成したことが示されています。

要約(オリジナル)

AI-synthesized voice technology has the potential to create realistic human voices for beneficial applications, but it can also be misused for malicious purposes. While existing AI-synthesized voice detection models excel in intra-domain evaluation, they face challenges in generalizing across different domains, potentially becoming obsolete as new voice generators emerge. Current solutions use diverse data and advanced machine learning techniques (e.g., domain-invariant representation, self-supervised learning), but are limited by predefined vocoders and sensitivity to factors like background noise and speaker identity. In this work, we introduce an innovative disentanglement framework aimed at extracting domain-agnostic artifact features related to vocoders. Utilizing these features, we enhance model learning in a flat loss landscape, enabling escape from suboptimal solutions and improving generalization. Extensive experiments on benchmarks show our approach outperforms state-of-the-art methods, achieving up to 5.12% improvement in the equal error rate metric in intra-domain and 7.59% in cross-domain evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google