Leveraging Mixture of Experts for Improved Speech Deepfake Detection

要約

音声ディープフェイクは、個人のセキュリティとコンテンツの信頼性に重​​大な脅威をもたらします。
文献ではいくつかの検出器が提案されていますが、これらのシステムが直面する主な課題の 1 つは、広範囲のデータセットにわたる偽の信号を識別するために、目に見えないデータを一般化することです。
この論文では、専門家混合アーキテクチャを使用して音声ディープフェイク検出パフォーマンスを向上させる新しいアプローチを紹介します。
Mixture of Experts フレームワークは、さまざまな入力タイプに特化し、データの変動性を効率的に処理できるため、音声ディープフェイク検出タスクに最適です。
このアプローチは、従来の単一モデルやアンサンブル手法と比較して、目に見えないデータに対する優れた一般化と適応性を提供します。
さらに、そのモジュール構造はスケーラブルなアップデートをサポートしており、高い検出精度を維持しながら、進化する複雑なディープフェイク技術をより柔軟に管理できます。
私たちは、各入力にエキスパートの重みを動的に割り当て、検出パフォーマンスを最適化する、効率的で軽量なゲート メカニズムを提案します。
複数のデータセットにわたる実験結果は、私たちが提案したアプローチの有効性と可能性を示しています。

要約(オリジナル)

Speech deepfakes pose a significant threat to personal security and content authenticity. Several detectors have been proposed in the literature, and one of the primary challenges these systems have to face is the generalization over unseen data to identify fake signals across a wide range of datasets. In this paper, we introduce a novel approach for enhancing speech deepfake detection performance using a Mixture of Experts architecture. The Mixture of Experts framework is well-suited for the speech deepfake detection task due to its ability to specialize in different input types and handle data variability efficiently. This approach offers superior generalization and adaptability to unseen data compared to traditional single models or ensemble methods. Additionally, its modular structure supports scalable updates, making it more flexible in managing the evolving complexity of deepfake techniques while maintaining high detection accuracy. We propose an efficient, lightweight gating mechanism to dynamically assign expert weights for each input, optimizing detection performance. Experimental results across multiple datasets demonstrate the effectiveness and potential of our proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google