D-CAPTCHA++: A Study of Resilience of Deepfake CAPTCHA under Transferable Imperceptible Adversarial Attack

要約

生成 AI の進歩により、テキスト読み上げや音声変換などの音声合成モデルの改善が可能になりました。
合成音声は人間の自然な音声と区別できなくなっているため、社会操作や政治的介入における悪用の可能性についての懸念が生じています。
いくつかの音声生成プログラムは、特に電話を通じて個人になりすますなど、悪意のある目的に利用されています。
したがって、社会安全を維持し、情報の完全性を保護するには、偽の音声を検出することが重要です。
最近の研究では、偽の電話と本物の電話を区別するために、チャレンジ レスポンス プロトコルに基づく D-CAPTCHA システムが提案されています。
この研究では、このシステムの回復力を研究し、偽の呼び出しを防御するために、より堅牢なバージョンである D-CAPTCHA++ を導入します。
具体的には、まず、転送可能な知覚できない敵対的攻撃の下での D-CAPTCHA システムの脆弱性を暴露します。
次に、D-CAPTCHA ディープフェイク検出器とタスク分類器の敵対的トレーニングを使用してシステムの堅牢性を向上させることで、このような脆弱性を軽減します。

要約(オリジナル)

The advancements in generative AI have enabled the improvement of audio synthesis models, including text-to-speech and voice conversion. This raises concerns about its potential misuse in social manipulation and political interference, as synthetic speech has become indistinguishable from natural human speech. Several speech-generation programs are utilized for malicious purposes, especially impersonating individuals through phone calls. Therefore, detecting fake audio is crucial to maintain social security and safeguard the integrity of information. Recent research has proposed a D-CAPTCHA system based on the challenge-response protocol to differentiate fake phone calls from real ones. In this work, we study the resilience of this system and introduce a more robust version, D-CAPTCHA++, to defend against fake calls. Specifically, we first expose the vulnerability of the D-CAPTCHA system under transferable imperceptible adversarial attack. Secondly, we mitigate such vulnerability by improving the robustness of the system by using adversarial training in D-CAPTCHA deepfake detectors and task classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google